转载

2017年的深度学习将会如何发展？Maluuba的科学家这么说

本文中，Maluuba 研究团队的五名成员分享了他们对于人工智能的趋势和应用的看法。

Maluuba 的愿景是通过创造像人类一样能思考、推理和交流的高智能机器，为通用人工智能的构建尽自己的一份力。

为了实现这个愿景，我们不断成长的研究科学家和工程师团队正在努力解决语自然言理解中的各种挑战性问题。他们追寻构建智能机器的新方式，希望能够模仿人类的常识、好奇心、创造性思维和决策制定等天生能力。我们正积极推动机器理解与交流能力的创新。

本文中，Maluuba 研究团队的五名成员分享了他们对于人工智能的趋势和应用的看法。我们认为人工智能在 2017 年和可预见的未来里将会成为最具变革性的领域。

2017年的深度学习将会如何发展？Maluuba的科学家这么说

ADAM TRISCHLER（高级研究科学家）

问：你预计 2017 年人工智能主要的进步会出现在哪个方面？

答：尽管机器学习已在 2016 年取得了长足的进步，但人工智能系统目前还是一种专家系统：这种系统如果不消除它已经学习到的知识，是不能增加新技能到技能全集中的。这一个问题就称之为遗忘灾难（catastrophic forgetting）。例如，训练好在相片中识别面部的人工智能系统就不能在其他如街道标志识别任务上表现出色。针对每个任务都需要特定地去训练一个智能系统。

经典研究如补充学习系统（complementary learning systems）和双神经网络（dual neural networks）试图寻求解决此类问题的方法，但它们只在小尺度上起作用。最近，研究员已经在深度网络中解决了遗忘灾难问题（catastrophic forgetting），并利用新的构架和技术取得了重大的初步进展。这项工作在 2017 年将继续进行，它将为人工智能系统学习「在线（online）」和增量（incrementally）、改善寿命、增加新能力、学习如何将现有技能组成更复杂的操作流程奠定基础。

问：在 2017 年，自然语言理解领域将有哪些方向会脱颖而出？

答：人类工智能最经典的辩论就是联结主义（connectionism）和符号主义（symbolism）的对抗（分布式、模糊统计表征与通过规则交互的统一符号之间的斗争）。随着深度学习的崛起，联结主义范式已经接管了一切（这是合理的，因为它能有效解决问题）。然而，我认为符号主义对执行各种高级别的任务更有实用性。在 2017年，我希望能看到结合这两种方法优点的研究。如在开发深度神经网络时，可以学习使用硬规则快速利用逻辑进行推理推断。我对自然语言感兴趣的部分是它好像存在一个交叉领域：词是我们根据语法硬规则进行结合的符号，但它们的使用表现出统计细节和灵活性，并且分布式词表征已经证明它是极其有效的手段。

HARM VAN SEIJEN（研究科学家）

问：你预计 2017 年强化学习将会出现哪些新进展？

答：强化学习（Reinforcement learning）与深度学习相结合，在单一任务的处理上显示出了非常高的效率。如学习玩 Atari 游戏，但是其几乎不存在跨任务学习（cross-task learning）。在 2017 年，学习通用技能将会取得巨大的进步，这样系统就能适用于许多不同的任务。随着人们和公司正在朝会话代理（conversational agents）前进，强化学习将在帮助构建能处理来自用户一系列复杂问题的代理这一方面发挥越来越重要的作用。

问：公众对人工智能安全性存在很大的担忧，你怎么看待这个问题？

答：随着越来越多的人工智能产品被推出，我期待人工智能安全性够获得更多的讨论（甚至期待更多的好莱坞电影和电视剧描述人工智能暴乱）。虽然我们需要谨慎地对待人工智能恐慌，不过我认为这类讨论还是挺好的。人工智能的安全问题最终不是技术问题，而是政治问题。我们作为一个社会整体必须重新思考我们想要如何定义在世界上的位置，尤其是机器能进行绝大部分甚至比人做得更好的工作。

LAYLA EL ASRI（研究科学家）

问：你预计 2017 年人机对话界面（conversational interfaces）主要的进步将是什么？

答：人机对话界面早在 2011 年的个人助手就开始出现，现在已经变得越来越普遍了，尤其是 Siri 发布后。2016 年随着基于文本的对话界面（或聊天机器人）的爆发和 Skype、Facebook Messenger 等平台的发展，我们已经取得了长足的进步。会话代理其中一个研究瓶颈就是缺乏数据，同时我们需要采用模拟的形式来训练我们的模型。新型自然语言理解平台的兴起将有助于真实用户的数据收集，并训练只能在现实环境中学习的基本技能。因此，我相信在 2017 年我们将看到记忆、信息搜集和决策制定等能力集成到会话代理中。Frames（Maluuba 公司的第二个数据集，它包含 19986 个问答对，可用来训练自然会话过程中的深度学习算法）和我们以目标为导向的对话数据集将支持更复杂的会话交互。

2017年的深度学习将会如何发展？Maluuba的科学家这么说

以目标为导向的对话数据集

问：我们在 2017 年会看到由自然语言理解支持的产品或服务吗？

答：在过去几年中，计算机视觉已经发展得相当成熟了。最近，大数据集和高效算法也发布了许多，它们能帮助在物理环境中进行对话的研究。即时应用能成为客户服务的自然延展，它能使用机器视觉进行错误排查。

我相信会话代理的下一步将是能够通过视觉获得文本信息，从而减少向用户询问的问题数量以达到更高效。

PHILIP BACHMAN（高级研究科学家）

问：无监督学习哪些方向是很有前途的？

答：无监督学习是一种在没有外部标记或监督的方式下帮助模型「理解」数据（图像、文本、视频等）的方式。以前的工作主要集中在这些模型的最终输出，而模型的内部运行方式如何合作产生输出的过程经常被人忽视。最近的研究发展让我们可以解释模型的内部行为。如，我们现在可以激活某些特征去表征图像对象的类型，而其他一些可以表征它的地理位置，或者激活某些特征来表征电影评论的情感分析，而其他特征表征其类型。这些技术使我们离学习目标越来越近，即表征和推断更高层次的概念，并解释模型看到了什么。为更广泛的模型与任务提供这个能力将大量增加无监督学习的实际价值。

问：使用无监督学习进行自然语言理解的核心挑战是什么？

答：模型能抽取压缩的表征将会是很大的进步，因为它揭示了自然语言文本的语义内容。理解自然语言的主要困难就是可以用很多不同的方式表达一个想法。而通常，我们想从一些文本中提取的是一个表示意图，即驱使某人写下该文本的目的和该文本传递的意思。很多情况下，用于表达想法的特定词语和语法除了我们需要的还包含了许多信息。将关于意图和想法的信息与文本呈现出的表面形式分离是当前模型的主要挑战。无监督学习技术将通过挖掘内容和形式的因式表征来克服这种信噪比问题（signal-to-noise problem），这将是一个巨大的进步。

ALESSANDRO SORDONI（研究科学家）

问：你认为 2017 年人工智能的主要进步将会是什么？

答：当前活跃的研究领域是元学习（meta-learning）支持算法的开发。元学习算法（meta-learning algorithms）不仅在特定任务上表现良好，同时它被设计成能够发掘学习本身的基本规则。所以相同的算法可以利用推断的规则解决其他相关但之前没见过的问题。当然，这是人工智能的一个开放性问题，仍然需要做很多研究。

问：这将对会话代理（conversational agents）有什么帮助？

答：要让会话代理真正起作用，它们就应该具备信息搜寻能力。想象一下，让一个代理学习去询问和搜寻进行用户参数选择的信息：这个策略将促进对话体验的个性化和随后用户参与度的增加。在这个意义上，学习如何通过提问从用户那里获取信息是一种元学习的形式，这将测试哪些问题单个用户同样给其他用户提供有用的信息。当然，代理不应该经常询问用户，他应该自己去搜寻有用的信息。

原文 http://www.jiqizhixin.com/article/2115

正文到此结束