对于一般的分布,直接代入
E(X)之类的就可以计算出来了,但真给你一个具体数值的分布,要计算协方差矩阵,根据这个公式来计算,还真不容易反应过来。网上值得参考的资料也不多,这里用一个例子说明协方差矩阵是怎么计算出来的吧。
记住,
X
、
Y
是一个列向量,它表示了每种情况下每个样本可能出现的数。比如给定
则
X
表示
x
轴可能出现的数,
Y
表示
y
轴可能出现的。注意这里是关键,给定了
4
个样本,每个样本都是二维的,所以只可能有
X
和
Y
两种维度。所以
用中文来描述,就是:
协方差
(i,j)=
(第
i
列的所有元素
-
第
i
列的均值)
*
(第
j
列的所有元素
-
第
j
列的均值)
这里只有
X,Y
两列,所以得到的协方差矩阵是
2x2
的矩阵,下面分别求出每一个元素:
所以,按照定义,给定的
4
个二维样本的协方差矩阵为:
用
matlab
计算这个例子
z=[1,2;3,6;4,2;5,2]
cov(z)
ans =
2.9167
-0.3333
-0.3333
4.0000
可以看出,
matlab
计算协方差过程中还将元素统一缩小了
3
倍。所以,协方差的
matlab
计算公式
为:
协方差
(i,j)=
(第
i
列所有元素
-
第
i
列均值)
*
(第
j
列所有元素
-
第
j
列均值)
/
(样本数
-1
)
下面在给出一个
4
维
3
样本的实例,注意
4
维样本与符号
X,Y
就没有关系了,
X,Y
表示两维的,
4
维就直接套用计算公式,不用
X,Y
那么具有迷惑性的表达了。
1.0000
1.0000
-1.0000
-1.0000
1.0000
1.0000
-1.0000
-1.0000
-1.0000
-1.0000
1.3333
0.6667
-1.0000
-1.0000
0.6667
1.3333
可知该计算方法是正确的。我们还可以看出,协方差矩阵都是方阵,它的维度与样本维度有关(相等)。参考
2
中还给出了计算协方差矩阵的源代码,非常简洁易懂,在此感谢一下
!
[1] http://en.wikipedia.org/wiki/Covariance_matrix
[2] http://www.cnblogs.com/cvlabs/archive/2010/05/08/1730319.html
1.
协方差矩阵
X,YX,YX,Y是两个随机变量,X,YX,YX,Y的
协方差
Cov(X,Y)Cov(X,Y)Cov(X,Y)定义为:
cov(X,Y)=E[(X−μx)(Y−μy)]
cov(X,Y) = E[(X-\mu_x)(Y-\mu_y)]
cov(X,Y)=E[(X−μx)(Y−μy)]
E(X)=μx,E(Y)=μy
E(X)=\mu_x,E(Y)=\mu_y
E(X)=...
X、Y是一个列向量,它表示了每种情况下每个样本可能出现的数。比如给定
则X表示x轴可能出现的数,Y表示y轴可能出现的。注意这里是关键,给定了4个样本,每个样本都是二维的,所以只可能有X和Y两种维度。所以
这里只有X,Y两列,所以得到的
协方差矩阵
是2x2的矩阵,分别计算
协方差矩阵
的各个元素
2.
协方差矩阵
定义
矩阵中的数据按行排列与按列排列
求
出的
协方差矩阵
是不同的,这里默认数据是按行排列。即每一行是一个observation(or sample),那么没一列就是一个随机变量。
协方差矩阵
:
协方差矩阵
的维度等于随机变量的个数,即每一个 obser
那么,正态分布的方差为:
-----------------------------------------------------------------------------
2.
协方差矩阵
协方差矩阵
的理解可以参考这篇博客:https://zhuanlan.zhihu.com/p/706441
定义:假如有N个样本的集合{X1,X2,…XNX_1,X_2,…X_NX1,X2,…XN},我们可以定义出以下定义。
1.均值”>
标准差是用来描述离散程度,。之所以除以n-1而不是除以n,是因为这样能使我们以较小的样本集更好的逼近总体的标准差,即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。
标准差和方差一般是用来描述一维数据的,
协方差
就是这样一种用来度量两个随机变量关系的统计量
2、
协方差
的定义
仿照方差的定义
通常,提到方差时需要对其进一步区分。(1)随机变量的
协方差
。跟数学期望,方差一样,
是分布的一个总体参数。(2)样本的
协方差
。是样本集的一个统计量,可作为联合分布总体参数的
一个估计。在实际中计算的通常是样本的
协方差
。
在概率论和统计中,
协方差
是对两个随机变量联合分...
数据分析中,对称矩阵和
协方差矩阵
都是常见的矩阵类型。对称矩阵是指矩阵的转置矩阵等于自身的矩阵,而
协方差矩阵
是指两个随机变量之间的
协方差
构成的矩阵。
对称矩阵和
协方差矩阵
都具有以下确保:
1. 对称矩阵和
协方差矩阵
都是实对称矩阵,因此它们的特征值都是实数。
2. 对称矩阵和
协方差矩阵
都可以通过特征值分解得到特征向量,这些特征向量可以用于降维和数据压缩等操作。
3. 对称矩阵和
协方差矩阵
都可以通过奇异值分解得到奇异向量,这些奇异向量可以用于矩阵的近似和数据压缩等操作。
总之,对称矩阵和
协方差矩阵
在数据分析中具有重要的作用,它们的确保使得我们可以对数据进行更加精确和高效的处理。