深度学习教父Hinton专访，AI已跨越重要分水岭

《福布斯》昨日刊登Geoff Hinton专访。游走在学术和产业的AI大神Hinton谈到了自己研究兴趣的起源、在多伦多大学和谷歌所做的研究工作以及发起的私人俱乐部 NCAP。 在采访中，Hinton谈到，现在计算能力和数据的发展让AI获得巨大进步，并且在很多领域得到应用，这也让他从一个AI的“狂热分子”变成了“狂热核心”。

Geoffery Hinton 生于英国，被认为是机器学习的先锋，现在是多伦多大学教授，谷歌高级研究员。Hinton早在20世纪70年代就开始进入AI研究领域。

以下是《福布斯》网站对Hinton的专访，发表于2016年6月20日。

从人脑到深层神经网络

【Peter High】此前在多伦多大学，你的目标是发现一种学习过程，能有效地在大型高维数据集中找到复杂的结构，并证明这就是大脑学习理解事物的方式。能不能谈一谈这个，以及你在多伦多大学和谷歌都在研究什么？

【Geoffrey Hinton】显然，大脑非常善于处理非常高维的数据，并做出理解。例如，来自视觉神经的信息通常是百万量级的，并且几乎是即时的。大脑对此作了大量的解读，当我们获得视觉输入时，我们通常都会获得正确的理解。眼前是一只狗，我们看到的不会是一头大象。在心理实验中，有时候会出错，但是从整体上来看，我们非常善于发现现实生活中发生了什么，这要得益于这些非常高维的输入。在我们进行了大量的学习后，每次我们或多或少都会得到正确的答案。这是一种非常厉害的能力，计算机目前还没有。我们正在接近（让计算机拥有这种能力）。但是，这和统计学不太一样，在统计学方法中，你拥有的是低维数据，并且用于训练的数据也没那么多，而且，你训练的是一个很小的模型，并不会有太多的参数。

大脑最吸引我的地方在于，它有着大量的参数，比拥有的训练数据更多。所以，这和目前取得成功的神经网络有很大的不一样。目前，我们拥有数百万量级的神经网络，我们在数百万个样本上进行训练，效果都不错，有时候是几十亿的量级和几十亿的样本。但是，通常我们拥有的参数并不会像训练数据那样多，这跟大脑是不一样的。在每一秒的经历中，大脑拥有上万个参数。事实上，关于这样的系统如何工作，以及怎样让它们善于在数据中找到结构，我们并没有太多的经验。

真正的人工智能，“我们已跨越重要的分水岭”

【High】在发展真正的人工智能上，你怎么看？

【Hinton】我认为我们已经跨越了一个十分重要的分水岭。不久之前，AI圈内大多数人所做的AI还是由逻辑学驱动的。这种智能的范式是逻辑推理，并且一个内部的表示（representation）看起来会是什么样，取决于它是属于哪一种象征结构。拥有大型的神经网络后，这已经完全被改变了。我们现在把内部表示看成是一个巨大的向量，并且，在如何让事物起作用上，我们并不会把逻辑作为一种范式。我们仅仅认为，你可以利用这些大型神经网路，它们可以学习而不是编程，你可以让它们学习所有的事情。许多年以来，AI圈内的人都认为这只是一个白日梦。

有一些事情，人们会直接地认为是痴人说梦，举个例子：取一串英语单词以及另一串与之匹配的法语单词，双方在翻译上是对称的，在进行充分配对之后，你可以训练一个大型的神经网络，这样一来，以后如果你给这个神经网络一个新的英语单词，它就能把单词翻译成一个质量合格的法语。

现在，我们在这上面依然没有做到最好，但是既有的神经网络已经是最先进的，处理的速度有了很大的提升，并且，我认为很快会在实践中得到应用。

早在二三十年前，人们可能会说，这个想法完全是疯狂的。当然，你需要用语言学和现实世界的知识对大量的知识进行编程。

一个相当愚蠢、简单的学习算法，能够仅仅从数据中进行学习，而不需要加入任何真实的语言学知识。这一想法听起来似乎完全是荒谬的。

但是现在，对于思考过大脑的人来说，这也没有那么荒谬，因为这基本上就是大脑所要做的事。但是，正如我所说，AI已经跨越过了这一分水岭。AI圈内大多数人，尤其是年轻人，现在相信，如果你先要一个拥有大量知识的系统，比如，所拥有的知识需要花费上百万比特来量化的那些，那么获得一个包含所有这类知识的良好系统的唯一办法是让系统可以从中进行学习。你并不需要把这些知识手动地输进去。

用神经网络做真正的递归

【High】你曾说过，随着技术的进步在许多不同的地方得到体现，正如此前描述的那些一样。你已经从一个从狂热分子转变到狂热核心了。

【Hinton】对。我们中的许多人多年来一直有一个信仰，那就是如果我们有足够强大的计算能力，有足够多的数据，那么我们的技术就会起作用。我们现在已经证明了这一点。现在，我们的技术在进步：你让计算能力更强大，我们就能制作更好的模型；你给我们越大的数据库，我们就可以制作更好的模型。但如果你只是把所有的事情都编程，这就无法实现。

【High】你在20世纪70年代就开始学习人工智能，虽然计算机技术的进步在帮助你实现目标，但是其中也面临着挑战。能不能讲一下是什么激励你选择人工智能，而不仅是拿下博士学位，还把其作为自己的职业呢？

【Hinton】我想这可以归纳如下：不管怎么说，大脑都是在工作，而关于大脑如何学习，如何使用这些缓慢的神经元来计算，这确实是一个很大的疑惑。我一直以来的动力主要是，在大脑中，我们很清楚地知道人可以获得智能，而这跟数字化的计算机是很不一样的。具体说来，就是大脑中并没有人在编程。

我记得，1973年，在爱丁堡大学，我作为研究生参与的第二个项目时，有人向我解释神经网络已经过时，并且没有机会得到应用。他们还说：“当然，神经网络了做不了递归（recursion）”，当时，递归被认为是智能的本质。我似乎必须要展示神经网络如何做递归，才能跟他们进行辩论。所以我开始准备展示如何在一个神经网络中做真正的递归。我所说的“真正的递归”指的是，怎么在网络中使用连接强度（connection strengths）来做一些事情。如果我们处理这样一个句子“John did not like Bill because he was rude to Mary”，“he wasrude to Mary”，是一个内嵌句，我必须使用处理整个句子时使用的相同的连接和神经元来处理这个句子。

我要做的是存储我对句子的处理，随后，去处理嵌入句，然后把从嵌入句子中获得的信息融合到所存储的句子中。我计划去做一个神经元网络，要能做真正的递归。并且，通过在承担存储任务的神经元间施加暂时的权重，还真的做到了。我记得我曾对一个研究小组解释了这一方法，他们都不知道我为什么会要做这些。有趣的是，我当时解决了一个刚刚变得流行的难题。十多年之前，如何真正做到递归就已经是一个流行的难题，花了40多年，人们才真正认识到这是一个需要解决的问题。

NCAP，Hinton的私人大脑俱乐部

【High】作为神经计算与适应性感知程序（NCAP）的创建人，这是一个集合了计算机科学家、生物学家、电子工程师、神经网络科学家、物理学家、心理学家的网络。你能不能谈一下合作的重要性，还有怎么找到这些世界级的思想家，让他们一起合作。

【Hinton】一个人没必要在所有的这些领域都是专家。这太难了。你需要的是一个单个领域的专家，但是他也要理解项目主要是关于什么的，你在不懂的时候，就能问他们，而不需要自己去阅读大量的文献，再说，有时候你也不知道哪些论文是值得信任的。如果你有一个专家，他们会告诉你这些。这能为你节省大量的时间，他们可以从自己的视角出发，告诉你哪些事情是很蠢的，哪些不是。

【High】NCAP是“只有邀请才能加入的”。能不能谈一下你是怎样建立这一网络的，在具体的项目中又是如何应用的。

【Hinton】首先，我们建立NCAP时目的是相当简单的。我只是想到了我认识的所有人，所有善于交际的聪明人，并尝试把他们都拉到项目里来。有三个条件：你必须很聪明；你必须要善于互动；你必须要对大脑是如何运转的感兴趣。这一项目已经展开很多年了，我也认识了一些这类的人，我们刚好混搭得很好。

【High】从2004年以来，计算能力急剧提高，所以，在把创意变现上，也变得更加迅速。你怎么看待你在NCAP获得的成果。

【Hinton】从NCAP中，确实有一些成果。不只是神经网络。人们还做了许多别的事情，比如感知和控制。长期以来，最获得认可的是深度神经网络。2004年以前，有一种广泛的认识是，训练多层的神经网络是很难的，NCAP中的许多人认为，只用监督式学习，很难在神经网络中做翻译。所以，回过头去看，有点奇怪的是，我们当时都把注意力放到了非监督式训练：在不了解网络正确的输出是什么样的情况下，你怎样才能一次学习一层。每一层都在尝试对下一层的结构和数据建模。这是深度学习获得的又一个重大突破：事实上，通过这些预训练，我们能让在深度网络中的学习变得更加容易。

随后，人们发现，有了足够的数据和计算能力，在没有预训练的情况下，去学习这些深度网络也变得相当容易。在很多情况下，当你有了大量的数据，比如语音和许多视觉的问题上人们都已经不再考虑使用预训练。但是，预训练正是让深度网络再运行的催化剂。一旦我们知道深度网络能再次工作，我们便发现了它们其实能在没有经过预训练的情况下再工作。

我想这解释了为什么让无监督学习了解深度网络是许多研究者都要处理的相同主题，并且，我认为，这是NCAP早期产出的一个成果。

其他

【High】怎么看待短期和长期的项目？

【Hinton】众所周知，你既需要应用，也需要基础科学。现在很多人对神经网络如此感兴趣，并不是真正对理论感兴趣，而是因为神经网络确实有用。神经网络在语音识别、物体识别或者机器翻译中的应用都令人印象很深，这也是为什么很多人会很感兴趣，并为基础研究进行投资的原因。

这一问题，我想，不仅是“利润动机”和“非利润动机”那么简单。举例来说，谷歌给大学提供了资金，用于基础研究，这很有用的。这对大公司来说也很重要，因为能让大学持续地培养出受过良好教育的学生。所以，单纯从研究的角度出发，大公司也有自己的动机。这很微妙。

不管是在英国还是美国，大学都有来着政治上的压力，需要把研究变得更加实用。政客很轻易地会说出“我们把钱投给研究是因为会获得回报，在接下来几年内提供就业，或者提供利润”之类的话。这并不是基础研究应该走的方向。

真正巨大的回报是来自好奇心驱动的研究。所以，在大学中，直接对应用的投资对于我来说是一个错误。我觉得大学应该做基础的研究，公司应该使用这些研究。让大学的“研究者”的研究更加实用这种趋势并不好，用科学的眼光来看，这很难理解。这只是一些政客和少数科学行政官员认为这是一笔好的买卖。

【High】你现在游刃于学术环境和产业环境，一般早上9：30到中午1：30在多伦多大学，下午2点到6点在谷歌的办公室。这两种环境，对你来说，究竟有什么不同。

【Hinton】我在谷歌有很多有趣的角色，我其实并不参与到任何具体的应用中。我做神经网络很长时间了，所以看到过许多创意。过去30年间，一些创意没能获得成功，因为计算机还不够快。我一直告诉谷歌大脑的人，旧的创意可能会跟他们现在所做的事情有关，会给他们灵感。基本上，我现在做的事情就是，给做应用的人提供建议，哪些基础研究的创意可能可以得到应用。这对于谷歌中一些对具体应用看得很重的人来说是有难度的。然而，在DeepMind，有大量的人在从事研究工作，在谷歌大脑，也有一些人对基础研究很感兴趣，开发了神经网络的新算法。

【High】怎么看待AlphaGo？

【Hinton】玩围棋需要直觉，你需要能够看棋盘，然后决定哪一个位置适合落子。这是神经网络与此前基于逻辑推理的人工智能所不同的地方。

【High】怎么看待AI威胁论？

【Hinton】一个比喻，挖沟机能快速的在挖一个坑，这比人要快得多，但是，挖沟机同时也可以把你的头敲下来。也就是说，在使用技术之前，你需要仔细想想，技术会以什么样的方式引起事故，会不会被错用。显然，任何强大的技术都可能会被错用。 

【High】作为在学术领域深耕多年的教授，你怎么看待大量人才流向产业界？企业家是否可以跳过大学教育？

【Hinton】你可以想象，作为一名教授，我并不认为这是一个好主意。我的感觉是，当你在一个好的研究小组中获得一个新的聪明的学生，魔力就发生了。我想大多数真正好的、根本性的新创意都来自研究生，他们自身很聪明，也有一个很好的环境。在这个环境中，其他人了解他们在说什么，并能提供良好的建议。目前看来，大学就是这样一个地方。