|
|
切比雪夫不等式到底是个什么概念?
关注者
1,208
被浏览
795,375
27 个回答
本答案先给Chebyshev不等式的 几何直观证明方法 ，然后再说明 它的意义及应用 。
几何直观证明：
再给出直观证明之前，我们需要引入 示性函数 (indicator function) I_{\{A\}} ，示性函数只有在事件A成立时才返回1，否则为0. 我们需要使用的一个引理是，当事件是以下形式，如 A = \{X>a\} 时，示性函数的期望可以表示事件发生的概率，即 \mathbb{E}\left(I_{\{A\}}\right)=\mathbb{P}\left(A\right) . 当然，A的形式不仅限于 A = \{X>a\} ， A = \{X<a\} 或 A = \{|X|>a\} 时都是成立的。
引入示性函数后，我们就可以把概率问题转移到更直观的空间上。举例而言，我们知道，对于任意的非负x和b， I_{\{x\geq b\}}\leq \frac{x}{b} . 从几何的角度而言，即 \frac{x}{b} 在第一象限永远不低于 I_{\{x\geq b\}} . 如图所示
Image courtesy of Jim Pitman, Omid Solari and Xin Wang.
因此，将自变量x变为随机变量X，以上不等式也成立，再对不等式两边取均值，我们可以得到 Markov不等式 ，即 \mathbb{P}(X\geq b)\leq \frac{\mathbb{E}(X)}{b} .
对于Chebyshev不等式，我们也可以用类似的示性函数来几何直观证明。对于任意的x, a和b, I_{\{|x-a|\geq b\}}\leq \frac{(x-a)^2}{b^2} .右半部分是一个二次函数，而左边是两端取1的示性函数，这个不等式可能难以直接想象出来，不过我们可以画出它的几何形状，从而得到更直观的感觉。
Image courtesy of Jim Pitman, Omid Solari and Xin Wang.
如图所示，二次函数的值在任意点都不会低于示性函数。其中，两坐标轴的交点其实为(a,0)，而两条虚线对应的x轴的值分别为a-b与a+b. 重复上述讨论，将自变量x变为随机变量X，以上不等式也成立，再对不等式两边取均值，同时将a选择为随机变量X的均值 \mathbb{E}(X) ,我们可以得到 Chebyshev不等式 ： \mathbb{P}(|X-\mu|\geq b) \leq \frac{\text{Var}(X)}{b^2} .
这种几何直观证明可以让你 不需要死记硬背不等式 ，知道原理后可以直接推出两个不等式。而且，更直观的，你会发现， Chebyshev和Markov不等式其实都是比较“松散”的界。 举例而言，如果想让不等号取到，那么随机变量就只能(几乎处处 a.s.)取到两个函数相等的点。对于Markov而言，随机变量最多取两点 X = \{0,b\} ; 对于Chebyshev而言，随机变量最多取三个点 X=\{a-b, a, a+b\} .而当随机变量取到其他的点时，这个界的松散程度就可以大概的由两个函数的差来表示。
Chebyshev的意义及应用：
Chebyshev的界究竟有多差？我们可以拿正态分布来举个例子。一般说来， 正态分布超过两个标准差的概率约在5％左右 ，而利用Chebyshev不等式我们只能说明 超过两个标准差的概率一定小于25％ 。也就是说，利用Chebyshev不等式，我们估计随即从正态取100个点，平均而言，超过两个标准差的点应该小于25个，而实际上大概只有5个。因此，Chebyshev的界的确不尽如人意。
但是，它给出了及其偏离的概率上界，这点对证明依概率收敛定值非常有效。 举例而言，如果我们想证明“松散的”强大数定律（假设方差存在，实际并不需要这一条件）。假设需要证明如果 X_i 独立同分布于均值为 \mu 方差为 \sigma^2 的分布，那么 \frac{S_n}{n}\overset{p}{\rightarrow} \mu . 我们可以用Chebyshev不等式，因为 0 \leq \mathbb{P}\left(|\frac{S_n}{n}-\mu\geq \epsilon|\right) \leq \frac{\text{Var}(X)/n}{\epsilon^2} .当 \epsilon 固定时， n \rightarrow \infty 会让 \mathbb{P}\left(|\frac{S_n}{n}-\mu\geq \epsilon|\right) \rightarrow 0 .即证明了方差存在下的强大数定理。（大数定理并不要求方差存在，不过这个证明会更复杂。）
切比雪夫不等式，描述了这样一个事实，事件大多会集中在平均值附近。
比如，假设中国男人平均身高1.7m，那么不太可能出现身高17m的巨人。事实上我们从来没有见过这种“怪物”。
下面结合一个热门话题：“年薪百万”来讲解一下。
站在知乎一眼望去，似乎年薪百万的人到处都是，而且经常有人会提出“怎样才能年薪百万”这样的问题。
我们从数学的角度来解答一下，年薪百万难不难？
1 马尔科夫不等式
切比雪夫不等式是马尔科夫不等式的特殊情况，所以我们先来看看马尔科夫不等式。
1.1 马尔科夫不等式与直观感受
马尔科夫不等式是这么写的（本文代数只讨论离散的情况）：
{\displaystyle P (X\geq a)\leq {\frac{E (X)}{a}}}\\
其中 X \geq 0 。
我们通过 \mu =1.3,\sigma =0.25 的正态分布解释下，首先， P(X\geq a) 就是指的是曲线下 X\geq a 部分的面积：
来感受一下马尔科夫不等式：
可见，越大于平均值，概率越低。
1.2 马尔科夫不等式与年薪百万
看看这个怎么去计算百万年薪的概率。
我随便搜索了下，查到以下数据：
人均收入的标准差，我确实查不到。至少免费的我没有查到，有哪位同学知道望告知。
咱们就用上面的数据近似一下，粗糙的认为：
- 中国人均收入 \mu ：51350元
- 人均收入的标准差 \sigma ：44000元
好，开始我们的计算。根据马尔科夫不等式：
{\displaystyle P (X\geq 1000000)\leq {\frac{51350}{1000000}}}\approx 5.14\% \\
也就是说，最多在20个人中有一个。
全国985院校的录取率是低于 5\% 的，看起来似乎基本上能进入985，就能年薪百万（如果我们认为收入和教育程度正相关的话）。
是吗？似乎看起来比例比我想象的更高啊。
1.3 马尔科夫不等式的证明
证明的方式很多，我找了一种我觉得容易理解的方式，不过不是很严格，大家权且当作一种证明思路的说明吧。
试证： {\displaystyle P (X\geq a)\leq {\frac{E (X)}{a}}}\quad X\geq 0,a > 0
下面的证明虽然是用正态分布来演示的，但是实际是与分布无关的。
之前我们说过， P(X\geq a) 就是指的是曲线下 X\geq a 部分的面积：
要扩大这部分面积很简单，就是让曲线 X\geq a 的部分变得“高”一些，至于 X < a 的部分嘛，怎么变化完全没有关系，反正这部分和计算面积没有关系：
很显然， P(X\geq a) 是小于扩大后的面积的。
通过什么数学方式让 X\geq a 的部分变得“高”一些呢？
根据下图：
我们很容易得到：
\left. \begin{aligned} X \geq 0\\ X\geq a \end{aligned} \right\} \implies \frac{X}{a} \geq 1 \\
那问题就很简单了，乘上 \frac{X}{a} ：
P(X\geq a)=\int _ a^{+\infty }f(x)dx \leq \int _ a^{+\infty }\frac{X}{a}f(x)dx\\
根据期望的定义有：
E(\frac{X}{a})=\int _{-\infty }^ a\frac{X}{a}f(x)dx + \int _ a^{+\infty }\frac{X}{a}f(x)dx\\
显然：
\int _{-\infty }^ a\frac{X}{a}f(x)dx \geq 0\\
因此有：
P(X \geq a) \leq \int _ a^{+\infty }\frac{X}{a}f(x)dx \leq E(\frac{X}{a})\\
综上，得到要证的目标：
P(X \geq a) \leq E \left( \frac Xa \right) = \frac{E(X)}{a} \\
其中 X \geq 0 。
2 切比雪夫不等式
切比雪夫不等式是马尔科夫不等式的特殊情况，而且还有进一步的关系：这两个不等式的作者是师生关系。
马尔科夫不等式是以俄国数学家安德雷·马尔可夫命名的。
而切比雪夫不等式是以马尔科夫的老师巴夫尼提·列波维奇·切比雪夫命名的。
2.1 切比雪夫不等式与直观感受
切比雪夫不等式是这么写的：
P(|X-\mu | \geq k\sigma ) \leq \frac1{k^2}\\
其中 k > 0 ， \mu 是期望， \sigma 是标准差。
我们还是通过 \mu =1.3,\sigma =0.25 的正态分布来感受一下切比雪夫不等式：
可见，越远离平均值，概率越低。
2.2 切比雪夫不等式与年薪百万
根据之前的数据，我们来算下切比雪夫认为年薪百万的概率是多少？
P(|X-51350| \geq 21\times 44000) \leq \frac1{21^2}=0.22\% \\
晕倒，切比雪夫认为最多只有千分之二的概率，比之前大大降低。
应该说切比雪夫不等式预测的准确率要远远高于马尔科夫不等式。
2.3 切比雪夫不等式的证明
马尔科夫不等式是这样的：
{\displaystyle P (X\geq a)\leq {\frac{E (X)}{a}}}\\
我们把 |X-\mu | 代入：
{\displaystyle P (|X-\mu | > a)\leq {\frac{E(|X-\mu |)}{a}}}\\
很显然等价于：
{\displaystyle P((X-\mu )^2 \geq a^2) \leq \frac{E((X-\mu )^2)}{a^2}=\frac{\sigma ^2}{a^2}}\\
令 k=\frac{a}{\sigma } ，容易得到 k > 0 ：
{\displaystyle P(|X-\mu | \geq k\sigma )\leq \frac{1}{k^2}}\\
3 总结
如果我们把人群的收入分布计算出来，我估计应该是个正态分布，那么年入百万的概率就更低了，知乎有人算出来是 万分之四 。
所以马尔科夫不等式、切比雪夫不等式只是对概率的一个估计，有可能不是很准确，但总比瞎想要准确。
百万年薪固然很难，但是根据 贝叶斯定理 ，或许增加一些条件，可以大大增加概率：
- 接受好的教育，不能就读名校也没有关系，现在网上公开课的资源也很好
- 勤奋、并有明确的目标
- 要有耐心，数据显示，40左右慢慢达到人生的收入巅峰
- .....
-
欢迎加入 马同学图解数学 系列课程：
更多内容推荐 马同学图解数学 系列