《神经网络和机器学习》，PRML，周志华的《机器学习》和李航《统计机器学习》请各位推荐学习顺序？

系统性看完了李博士的统计学习方法，周志华老师的机器学习，粗略看了一遍PRML，回过头来说点个人浅见。

先亮结论，统计学习方法是我看过的 最好的学习统计机器学习的入门书，没有之一 。

这本书无论是章节编排，还是写书风格都非常符合中国人胃口，基本上每一个命题的提出，都能在书中看到完整的解释与论证，前提是阅读者有一定的微积分、统计学、线性代数基础。

我自己是15年入手这本书，前后完整的看了三遍，自己推导了书中每一个式子与算法，每一遍都有收获，可以毫不夸张的书，这本书具有极好的理论学习价值和学习深度，这一点周老师的机器学习尚不具备（完全就是论事，没有诋毁之意）。

两相比较这两本中国人（都是IEEE fellow 的牛人）的代表作,周老师的书内容更新，覆盖面更广，但很多地方仅仅只是提及性予以介绍，无论是系统性和逻辑性都有所欠缺，李航的书从数学角度系统性进行论证和解释，更显理论深度与完整性。

从两书的内容比较来看，李博士的书，基本上涵盖了2010年前主流的十大数据挖掘与学习方法，章节独立但仍能做到内容紧凑，写书风格具有工程师的特质，力求精炼而不拖泥带水，周老师的书，采取娓娓道来的手法，更具高校学者风范，有些地方略显繁琐拖拉，这与两位作者的个人学术经历密切相关。

李博士的书侧重于实践中抽象出绝对的数学理论，周老师则侧重于学术角度予以归纳总结，应该说各有千秋。对于阅读者而言，推荐以前者为主，后者作为参考书予以补充和辅助、扩展阅读。

另外，李博士的书据说是他在微软工作时，利用业余时间7年成书，属于工作实践的理论抽象，这与该书的风格比较吻合，唯一美中不足的书，这本书跳跃性省去了许多推导部分，让初学者有所畏步，从另一角度讲这也是优点，阅读者可以自己在阅读过程中能够 以点带面，系统性回顾或温习微积分，统计学，线性代数，最优化等基础理论，而不是被动去逐一学习，从而避免了发散过度无法回到原点。

从我看完三遍，推导各章节花了大概30页草稿纸（部分内容直接在书中推导），这本书如果补充进去这些推导，阅读者则会轻车熟路。目前这本书依旧作为枕边书，长翻长新！

最后，提一下PRML，当你完整看完上面两本，PRML的阅读过程，基本上水到渠成！

略显遗憾的是，我阅读过程中发现了不少错误，直到今天才看到有专门的勘误，不过瑕不掩瑜，推导时能很自然纠正这些。

华丽丽的分割线---------------------------------------------------

时隔两年半，再次补充一点工作过程结合进一步的理论学习的个人心得。

目前市面上尽管出现了各种各样的机器学习理论算法书，包括李航老师的统计学习方法也于2019年4月出版了第二版，因第二版补充了一些统计机器学习的深入内容。通过选择性阅读，对比国内外的读本，说一点个人理解。

统计学习方法第二版的前言里面李航老师也说了有很多读者给他发邮件或者发表博客表达了对该书第一版的溢美之情。

统计学习方法写的非常好的一章是支持向量机这一部分 ，可以说目前还没有哪一本比这本书的内容更完备更具体，当然还有就是最大熵模型和EM算法这两章，略微次之。

粗略说一下我看过的机器学习算法书：

统计学习方法第一版、第二版，

机器学习（周志华老师）

PRML

MLAPP（80%）

Understanding Machine Learning: From Theory to Algorithms （50%）

Foundations of Machine Learning（50%）

1.统计学习方法

对于 统计学习方 法的学习，非常适合有一定数理统计基础的人切入机器学习或者人工智能相关领域，基本上涉及了比较多的数理基础知识，可以说完全看上3遍以上才能知道作者写书着笔下了很大的苦心，包括涉猎的广度与深度以及例子和习题的选取。

2.机器学习

机器学习方法这本书内容其实是比较粗糙的，比较推荐的是 第一章、第二章作为边缘知识或者辅助内容的扩展， 而算法的章节部分，推荐 第八章、第九章、第十一章、第十三章，之所以推荐这几章内容，是因为有一些内容相对比较新，在其它同类书目中涉猎不全或较少，尤其是第十三章，对于一些处理大量样本无标签而少量样本有标签的分类问题，需要借助半监督学习扩展带标签样本数量，修正监督学习样本不足可能带来的学习不足问题，参考意义比较大。

除此之外，其它的像计算学习理论、规则学习与强化学习内容有一定新颖之处，相对较浅，可以参考其它书目，尤其以计算学习理论为例， Understanding Machine Learning: From Theory to Algorithms这本书写的比较详细，当然也有一定的深度。

3.PRML

这本书能够被称为AI界的圣经，肯定有其独特的地方，这本书的内容非常广，且将深度与广度推至另一个高度， 整体而言可阅读价值大于前两本 ， 但前两本可作为基础读本 ，对于一般的机器学习问题（分类、回归） 建议将前4章内容作为重点反复阅读 ，除此之外，写的非常好的章节包括第8、9、11、12章，第9章的EM算法内容部分可以与李航老师的相关章节互为补充阅读，基本上把EM讲透了。第12章可以说是同类书目中把PCA讲的最到位，当然可能见仁见智。

4.MLAPP

这本书的内容非常多，有1000多页，我前后看了快2年，也只到80%部分，待续。

5.Foundations of Machine Learning

这本书和后面一本的的内容相对较少，当然也有不少人推荐这本书，个人重点推荐kernel method这一章。

6.Understanding Machine Learning: From Theory to Algorithms

这本书对 机器学习相关的计算学习理论以及其它一些理论讲的比较细 ，推荐作为有一定工作经验的人进一步升华理论的参考，实际应用的话，参考的必要性不大。

上述书目阅读过程涉猎的优化知识比较多，推荐进一步阅读 凸优化、最优化导论 这两本。

至于 统计学习基础 数据挖掘、推理与预测（ESL），不太推荐。