转载

PRML读书会系列

PRML 读书会前言

读书会成立属于偶然，一次群里无聊到极点，有人说Pattern Recognition And Machine Learning这本书不错，加之有好友之前推荐过，便发了封群邮件组织这个读书会，采用轮流讲课的方式，如果任务能分配下去就把读书会当作群员的福利开始进行，分配不下去就算了。后来我的几位好友：网神兄、戴玮博士、张巍博士、planktonli老师、常象宇博士纷纷出来支持这个读书会。待任务分配完，设置好主持人和机动队员，我认为就不需要再参与了，但进行不久，也充当机动队员讲了第二、六、九、十一章，并承担了所有的整理回顾工作。随着读书会的进行渐渐发现PRML这本书可以用惊艳二字来形容，每讲一章之前我们都花费大量时间精力做准备，然后用聊天的方式白话讲课，尽量做到通俗易懂，一章内容太多便分几次讲，讲的不满意便重新讲，一共讲课23次，加上整理回顾前后进行了两遍，历时一年半这份讲稿合集才与大家见面。以下是各章的简介：

第一章Introduction由西安交通大学常象宇博士主讲，深入浅出的介绍了机器学习的基本概念、学习理论、模型选择、维灾等。

第二章Probability Distributions的贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等很基础也很重要。出于各种原因我前后讲了三次，直到比较满意为止。

理解机器学习莫过于从最基础的线性模型开始，第三章 Linear Models for Regression由西北大学planktonli老师主讲，介绍了线性基函数模型、正则化方法、贝叶斯线性回归及其与核函数的联系等内容，为后面几章打下了良好基础。

第四章Linear Models for Classification仍由西北大学planktonli老师主讲，介绍了贝叶斯的marginalization概念、Fisher线性判别、感知机、分类器概率生成和判别模型的区别与联系、逻辑回归的最大似然参数估计、贝叶斯逻辑回归的Laplace近似推断等内容。

第五章Neural Networks由网神（新浪微博：@豆角茄子麻酱凉面）主讲，精彩内容有：神经网络做回归和分类的训练目标函数、BP误差后向传播的链式求导法则、正则化、卷积网络等。

第六章Kernel Methods，介绍了核函数的定义、构建方法，通过线性回归的Dual Representations推导说明由基于特征到基于样本学习的转换；最后是动感十足的高斯过程Gaussian Processes，包括GP的协方差矩阵形式、超参、预测等内容。

第七章Sparse Kernel Machines由工业界高手‘网神’（新浪微博：@豆角茄子麻酱凉面）主讲。主要内容：推导了支持向量机（support vector machine）的Dual Representations；由KKT条件说明了解的稀疏性；为提高泛化能力增加松弛变量后的SVM；最后是加了先验有更稀疏解的RVM。

第八章Graphical Models由‘网神’（新浪微博：@豆角茄子麻酱凉面）主讲，精彩内容有：贝叶斯网络和马尔科夫随机场的概念、联合概率分解、条件独立表示；图的概率推断inference。

第九章Mixture Models and EM，主要内容有：Kmeans算法；混合高斯模型以及EM（Expectation Maximization）算法在GMM中的应用；一般EM算法性质的推导和证明。

第十章的主要内容是变分推断（Variational Inference），由中科院自动化所戴玮博士（新浪微博：@戴玮_CASIA）前后分三次讲完。精彩内容有：为什么需要近似推断、变分推断用到的KL散度、根据平均场（Mean Field）思想的分解以及迭代求最优解的推导，最后用了三个例子来加深理解。

第十一章的主要内容是MCMC（Markov Chain Monte Carlo），包括：马尔科夫链平稳分布的定义及其充分条件：细致平稳条件的证明；Metropolis-Hastings及其接受率满足细致平稳条件的推导，接受率恒为1的Gibbs Sampling；最后是Slice Sampling、Hamiltonian MCMC。

第十二章连续隐变量，由中科院自动化所戴玮博士（新浪微博：@戴玮_CASIA）分三次讲完。精彩内容有：从最大方差和最小重构误差两个角度解释了PCA；包含连续隐变量的概率生成模型PPCA，其最大似然闭式解的推导以及EM求解方法；核PCA的变换；最后介绍了Autoencoder、非线性流形思想

第十三章Sequential Data，由中科院软件所张巍博士（新浪微博：@张巍_ISCAS）主讲，精彩内容有：Hidden Markov Models的数据生成过程及其参数的EM求解方法、HMM的预测和解码。

最后一章Combining Models，由‘网神’（新浪微博：@豆角茄子麻酱凉面）主讲，精彩内容有：committees；Boosting、AdaBoost，并从最优化指数损失函数的角度对其步骤作了解释；最后是决策树和条件混合模型。

感谢以上PRML所有参讲人员，并对正在进行中的MLAPP（Machine Learning:A Probabilistic Perspective）读书会的参讲人员：黄浩军（新浪微博: @Copper_PKU）、余磊博士（新浪微博: @红烧鱼_机器学习）、SIAT（新浪微博: @priceton）、皮搋子狐狸（新浪微博: @unluckyAllen）、Zealot等人一并感谢。坚持把PRML这本书跟下来的同学也辛苦了。最后对QQ群、微博、微信等各个平台上所有参与和支持我们读书会的人表示感谢，有几次都想放弃了，是大家对机器学习的热情一直在推动着读书会前进。

读书会QQ群：一号群：177217565（已满）；

二号群：424269692 加群时请在申请里用简短的话描述一模型或算法的关键思想。

微信平台请扫下面二维码：

PRML读书会系列