高斯过程回归 (Gaussian Process Regression) 学习路线

“高斯过程回归”这个名字看起来很复杂，但其实还是一个回归模型，目的和最常见的线性回归一模一样：对训练数据进行学习、对新数据机型预测、并希望预测的值能够尽可能地接近真实的值。

学习高斯过程回归的一个关键点在于理解高斯过程回归与线性回归的一个重要差异：

1. 在线性回归中，习得的是预测值 y 的一个数值结果。例如，对于输入数据 \boldsymbol{x}^*=[1, 2, 3]^T ，线性回归给出的结果是： y^* = 5
2. 在高斯过程回归中，习得的是预测值 y 的概率分布。例如，对于输入数据 \boldsymbol{x}^*=[1, 2, 3]^T ，高斯过程回归给出的结果是： y^* \sim N(1, 0.5)

建议的学习顺序是：

1. 没有接触过贝叶斯线性回归或核方法的同学，可以首先阅读这两个主题的文章： 贝叶斯线性回归 ； 核方法 。它们对于理解高斯过程回归起着十分重要的作用。
2. 按顺序阅读文章高斯过程回归 （一） 、 （二） 、 （三） ：这三篇文章分别解释了高斯过程回归的思路，从简单到复杂。
3. （补充知识） 多维高斯分布的性质 。