转载

Hinton那些事儿

初稿译者：@龙星镖局

友情指导：@winsty，@妖僧老馮， @jarszm

郑重声明：本文素材是Yann LeCun 收集整理，英文链接。虽然是简单的翻译，但本文没有机器学习领域的深厚知识是领会不到精髓的。由于知识水平和美国文化理解不够，文中仍有多处自觉没有真正体会LeCun的幽默。欢迎大家能继续批评指正。译文中若有不当之处，是译者水平有限所致，跟指导者没有任何关系。

0. Radford Neal：我不觉得贝叶斯是解决所有问题的最好方法。Geoff Hinton：我完全听不到你在胡扯什么，因为我对你说这句话的先验为0.

原文：Radford Neal: I don't necessarily think that the Bayesian method is the best thing to do in all cases... Geoff Hinton: Sorry Radford, my prior probability for you saying this is zero, so I couldn't hear what you said.

备注：先验是贝叶斯理论的一个关键环节，判读一个事情是否成立的后验概率等于似然（类条件概率）乘以先验。由于Hinton说先验为0，所以就等于说Neal说的东西基本就是胡扯了。

1.Hinton做深度学习不需要隐藏层，因为他做的时候隐藏单元会自己藏起来。

原文：Geoff Hinton doesn't need to make hidden units. They hide by themselves when he approaches.

备注：隐藏层是深度神经网路的中间层，起到学习feature的关键作用。这里暗指Hinton玩转了深度学习，不需要隐藏层就能起到数据变换的效果。

2. Hinton不是不同意你，只是跟你稍有差异。

原文：Geoff Hinton doesn't disagree with you, he contrastively diverges (from Vincent Vanhoucke)

备注：contrastively diverges缩写为CD，中文翻译为“对比散度”。［妖僧老馮］contrastively diverges 是图模型中的一种对梯度的逼近方法，深度学习中仅在RBM／DBN这类中有用到，由于目前RBM／DBN已经不大用了所以。。。［龙星镖局］也可理解为“暗指很少同意人”？

3. 深度信念网络确实对Hinton深信不疑。

原文：Deep Belief Nets actually believe deeply in Geoff Hinton.

备注：Deep Belief Nets是深度学习里的一类方法统称。

4. Hinton发现了人脑是如何工作的。哦，确切地讲，是过去25年来每年都会发现一次。

原文：Geoff Hinton discovered how the brain really works. Once a year for the last 25 years.

备注：学界经常拿人脑工作机制来解释深度学习是如何work的。

5. 马尔可夫随机场确信Hinton是难缠的。

原文：Markov random fields think Geoff Hinton is intractable.

备注：马尔可夫随机场做精确推断已被证明是#P问题，比NP问题还要难的一类。

6. 如果你胆敢挑战Hinton，他分分钟就能把你的熵最大化。你的自由能甚至在你到达平衡前就会消失。

原文：If you defy Geoff Hinton, he will maximize your entropy in no time. Your free energy will be gone even before you reach equilibrium.

备注：最大熵原理简单来说各种情形都有可能发生，此处表示让人怀疑自己所确信的。自由能和能量平衡则是RBM（受限波尔滋曼机）的基本概念。

7. Hinton能让你后悔无疆。

原文：Geoff Hinton can make you regret without bounds.

备注：bound是机器学习研究中理论分析算法work的重要参考指标。

8. Hinton能让你轻松减肥（是你的体重，遗憾的是不是我的）。

原文：Geoff Hinton can make your weight decay (your weight, but unfortunately not mine).

备注：weight decay是机器学习里一个重要概念，是正则项/dropout等有效的工作原理。

9. Hinton不需要支持向量，因为他可以用小拇指撑起高维超平面。

原文：Geoff Hinton doesn't need support vectors. He can support high-dimensional hyperplanes with his pinky finger.

备注：支持向量是SVM（支持向量机）分界面上的样本点，也可以认为是SVM划分分类面的决定因素。

Hinton那些事儿

10. 可能大多数人还不知道Hinton接触贝叶斯派时内心是认为他们其实是有罪的。

原文：A little-known fact about Geoff Hinton: he frequents Bayesians with prior convictions (with thanks to David Schwab).

备注：【winsty】这里可能暗指统计学里的frequenist 和 bayesian学派。这里的意思应该是说通过prior conviction将贝叶斯频率化派，往往prior是soft的，这里用conviction这个词感觉是说只相信prior不管likelihood。［妖僧老馮］这里的frequents的双关意思是接近（动词）。hinton不大信贝叶斯这套玩意，所以这句话的双关的意思是hinton接近这帮贝叶斯学者的时候内心已经认为他们有罪。

11. 所有敢接近Hinton的核函数醒来时都会很纠结。

原文：All kernels that ever dared approaching Geoff Hinton woke up convolved.

备注：核函数是支持向量机处理非线性的重要手段，支持向量机和深度学习长期两派，相互打压。convolved在深度学习里是卷积，大众使用时也有点沮丧/纠结的意思。

12. 大多数农场都被好看的原野环绕。Hinton的农场在一个超级大平原上，被一个破旧的农田围绕着，谷仓里还堆着谷粒。

原文：Most farmhouses are surrounded by nice fields. Geoff Hinton's farmhouse lies in a hyper-plain, surrounded by a mean field, and has kernels in la grange.

备注：此句有多处双关，hyper-plain, mean field, kernels, lagrange都是机器学习里的概念，同时又分别对应英语里的“平原”，“破旧的农田”，“谷粒”，而La grange对应法语里的“谷仓”。【winsty】应该是说Lagrangian form的SVM可以推导出kernel trick。[Jarszm]kernel双关谷粒，还用了一个法语梗，把Lagrange拆成la grange是法语里“那个谷仓”的意思

13. Hinton用过的唯一的一个kernel就是事实本身。

原文：The only kernel Geoff Hinton has ever used is a kernel of truth.

备注：kernel of truth, 英语解释为A singular element of truth.

14. 一碰到Hinton，支持向量就精神失常了，并且最佳分割面也不灵光了。

原文：After an encounter with Geoff Hinton, support vectors become unhinged and suffer optimal hyper-pain (with thanks to Andrew Jamieson).

备注：一般认为经典的SVM使用的是hinge loss。

15. Hinton的泛化是无边无界的。

原文：Geoff Hinton's generalizations are boundless.

备注：generalization是机器学习评估模型在新样本上的表现(泛化能力)的重要指标。

16. Hinton直接跳到第三代贝叶斯了。

原文：Geoff Hinton goes directly to third Bayes.

备注：贝叶斯领域一直有人在研究，这里暗指Hinton已经成精了？