统计学参数估计之点估计(矩估计,最大似然估计) 详解含推导1.何为点估计在了解点估计之前,我们先介绍一下估计量与估计值的概念1.1估计量与估计值参数估计就是用样本统计量去估计总体的参数,如用样本均值 x⃗\vec xx 去估计总体均值 μ ,用样本比例 p 估计总体比例 π ,样本方差 s2s^2s2 估计总体方差 δ2δ^2δ2 .现在我们将总体参数笼统的称为 θ ,而用于估计总体参数 θ 的统计量我们称为 θ^ ,参数估计的实际含义就是如何用 θ^ 来表示 θ估计量估计参数时计算
5.运行注意事项：
使用matlab2021a或者更高版本测试，运行里面的Runme_.m文件，不要直接运行子函数文件。运行时注意matlab左侧的当前文件夹窗口必须是当前工程所在路径。
具体可观看提供的操作录像视频跟着操作。
最大
似
然
估计
是一种用来在给定观察数据下
估计
所需
参数
的技术。比如，如果已知人口分布遵从正太分布，但是均值和方差未知， MLE（maximum likelihood estimation）可以利用有限的样本来
估计
这些
参数
。
1.正规定义
从分布f0f_0f0中引出nnn个独立同分布的观察x1,x2,...xnx_1,x_2,...x_nx1,x2,...xn，其中f0f_0f0是从一族依赖于...
例子结束，以下是说明
1、根据以上情况，我们用幼儿园常识去判断，盒子里 w和b的比例 “可能” 是，8：2 （幼儿园没毕业的可以杠） -- 这个只是我们的直观感受，看到这个例子后的条件反射。
一、点
估计
1.点
估计
就是用样本统计量来
估计
总体
参数
。
概念理解：当我们想知道某一总体的某个指标的情况时，测量整体该指标的数值 的工作量太大，或者不符合实际，这时我们可以采用抽样的方法选取一部分样本测量出他们数值，然后用样本统计量的值来
估计
总体的情况。
例如：想了解一个学校学生的身高情况，就可以随机抽取一部分学生测量他们的身高，得到一个平均值，再用这个样本的均值去
估计
整体学生的身高情况，就是点
估计
...
最大
似
然
估计
（Maximum Likelihood Estimation，MLE）是一种在统计学中常用的
估计
参数
的方法。在高斯模型中，我们假设数据是符合高斯分布的，那么我们可以使用 MLE 来
估计
模型的
参数
。
具体的，假设有 N 个独立的样本数据 X，每个样本数据服从高斯分布，则对于每个样本数据，它的概率密度函数是：
p(x|μ,σ^2) = (1 / (√2πσ^2)) * exp(-(x - μ)^2 / 2σ^2)
其中 μ 和 σ^2 分别是均值和方差的
参数
。
最大
似
然
估计
的基本思想是，假设每个样本数据是独立且同分布的，那么我们可以将所有样本数据的概率密度函数相乘，得到数据的
似
然函数：
L(μ,σ^2) = ∏ p(x_i|μ,σ^2)
我们希望找到一组
参数
(μ,σ^2)，使得
似
然函数 L 最大。于是我们对
似
然函数求导，得到导函数的最大值，然后求出该最大值对应的
参数
。通常我们求导得到的方程不好解，因此我们通常使用数值优化的方法来求解。
因此，在求解高斯模型
参数
的过程中，我们通常使用最大
似
然
估计
来计算。
def call(self, x, bias, cache=None):
return super(SelfAttention, self).call(x, x, bias, cache)
class Attention(tf.layers.Layer):
def call(self, x, y, bias, cache=None):
q = self.q_dense_layer(x)
k = self.k_dense_layer(y)
v = self.v_dense_layer(y)
[/code]
