|
|
参数估计
最小二乘法 (Least Squares)
最小二乘法，为什么叫 二乘法？ 二乘其实是指平方的意思，为什么用 平方呢？因为平方可以消除误差正负方向上的差异，单纯的只比较长度。另一种通俗的说法叫 距离（学术一点叫欧氏距离），距离不分上下、左右，只有大小，所以可以用来衡量目标与估计的所有方向偏差累积。啰嗦的分析一下，若您善用程序员 if-else思维。定义： 估计在目标正方向上为正，负方向上为负。计算时只要加一个if-else判断就行了，并不一定非要用平方来代表…
参数估计(二).最大似然估计
又胖又瘦的人
最大似然估计可以说是应用非常广泛的一种参数估计的方法。它的原理也很简单：利用已知的样本，找出最有可能生成该样本的参数。 文章介绍大概从这几方面： 最大似然估计中的似然函数是什么？和概率有什么不同？最大似然估计离散型随机变量做最大似然估计连续型随机变量做最大似然估计 最后还附有有关 贝叶斯估计 、矩估计 、最大似然估计与最小二乘法的关系 的传送门，有兴趣的看官欢迎阅读~觉得有用的点个赞希望支持下~1.似然函数 …
如何理解非参数检验？
互联网&零售&商业分析师
数据描述的三个角度：集中趋势，离散程度和分布形态。而常用统计推断检验方法分为两大类：参数检验和非参数检验。它们两者有什么联系呢？ 参数检验通常是假设总体服从正态分布，样本统计量服从T分布的基础之上，对总体分布中一些未知的参数，例如总体均值、总体方差和总体标准差等进行统计推断。如果总体的分布情况未知，同时样本容量又小，无法运用中心极限定理实施参数检验，推断总体的集中趋势和离散程度的参数情况。这时，可…
参数估计(一).矩估计法
又胖又瘦的人
本人最近在整理概率论与数理统计的相关知识，为防止遗忘，会将一些重要知识点写成文章，大家走过路过多给给意见与批评~ 这篇文章大致介绍了矩估计法的原理与例题，另外还写有其他参数估计方法的文章（极大似然估计、贝叶斯估计等），见最后的传送门。觉得有用的点个赞支持下～ 1.参数估计 设总体 [公式] 的分布函数的形式已知，但它的一个或多个参数未知，借助于总体的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。 [公式]
用 Bootstrap 进行参数估计大有可为
1 从 t 分布说起 在量化投资领域，有大量需要进行参数估计（parameter estimation）的场景。比如在按照马科维茨的均值方差框架配置资产时，就必须计算投资品的收益率均值和协方差矩阵。很多时候，对于需要的统计量，仅有点估计（point estimate）是不够的，我们更感兴趣的是从样本数据得到的点估计和该统计量在未知总体中的真实值之间的误差。在这方面，区间估计 —— 即计算出目标统计量的置信区间（confidence interval）—— …
楼主既然对EM算法有一些了解，建议就从EM算法入手。EM算法讲得比较直观明了的资料，我认为是Andrew NG的machine learning课程的讲稿。 CS 229: Machine Learning (Course handouts) ，第八章就是专门讲EM算法的，不长，但是讲得很清晰。然后可以再去看一些EM的一些code实现。比如 MachineLearning-C---code/main.cpp at master · pennyliang/MachineLearning-C---code · GitHub 。 熟悉完EM算法之后，可以去看变分推断了，关于变…
这个问题下面太多胡扯的答案了。 先反对： @郝智恒 不知为何说OLS需要X满秩。这句话当然是对的，但是这是句屁话，因为Logistic 回归也需要满秩。这个问题跟是不是full rank完全没有关系。 @Jack Diamond 说对了一半，关键在于Y的不同，但是另外一半并不恰当，OLS的BLUE等优良性质并不需要正态分布，从正态分布和Logistic 分布来说这个问题，也是说歪了。 其他的胡扯不一一反驳。 回答问题：其实是可以用最小二乘的。 首先，的确…
Ph.D. Student | 经略四方志，俯仰古今愁。
从贝叶斯神经网络的角度回答一下这个问题，这个解释也适用于所有基于贝叶斯变分法理论的模型。。。 问题：传统的神经网络中，我们认为模型参数 [公式] 是固定的，存在最优参数 [公式] ，然后给模型参数赋一组初值 [公式] ，基于观测数据集 [公式] 训练模型使 [公式] 不断逼近 [公式] ，这个过程就是利用最大似然参数估计和梯度下降等算法学习最优模型参数的过程，学习的…
机器学习、英语、健身。
关于variational inference的一些小总结，或许有一丢丢启发。 Posterior假设我们观测到一组数据 [公式] ，该数据由模型 [公式] 产生，其中 [公式] 为未知的特征。换句话说，给定 [公式] ，由 [公式] 可描述 [公式] 。现在我们感兴趣的是，已知 [公式] ，怎么去推出 [公式] 。根…
Data & Psychology with Python
抛开PLS的算法细节，我用个简单的例子来讲讲，权当抛砖引玉。 这里有位教练想了解研究远动员们的项目成绩，手头上的数据可视为自变量的有：身高、体重、体脂率、肌肉量、训练年限、训练方式等等；可视为因变量的数据有：跳高成绩、撑杆跳成绩。 这些数据在手，可以用三种视角去分析它们： 把全部的数据一箩筐扔到回归模型里，多个因变量就建立多个回归方程，采用最小二乘法（OLS）系列方法硬解，所解即所得；第一种蛮干的方式需…