转载

机器学习的盛宴：NIPS 2015

作者：微软亚洲研究院实习生：林添

冰雪王国的浪漫机器学习的盛宴

NIPS （ Advances in Neural Information Processing Systems ，神经信息处理系统进展大会）是每年 12 月由 NIPS 基金会主办的机器学习和神经计算领域的顶级会议，它由连接学派（ connectionist ）神经网络的学者于 1987 年在加拿大创办，后来随着影响力逐步扩大，也曾移师美洲、欧洲等地举办。每年大会都吸引了机器学习、人工智能、统计等领域的众多国际专家地参与。近年来，在工业界和科学界，神经网络构建的深度学习方法取得了很多突破性的进展，在计算机视觉、语音识别、自然语言处理等领域也出现了大量的创新应用， NIPS 在机器学习领域的学术影响力变得举足轻重。

本次 NIPS 大会在加拿大魁北克省的蒙特利尔举行。蒙特利尔位于五大湖和圣劳伦斯河河口，是加拿大仅次于多伦多的第二大城市，同时也是加拿大的经济之都，拥有发达的金融、电影、设计、航空产业。加拿大是是冰雪的王国，得益于此，蒙特利尔最受欢迎的运动便是冰球。这里还有很多繁华的地下城，即便是外面大雪纷飞，里面依然灯火通明。蒙特利尔更有众多欧洲与北美风格融合的建筑，吸引了众多好莱坞大片来这里取景。下图便是蒙特利尔神圣、典雅的圣母院大教堂，加拿大著名歌手席琳·迪翁的婚礼就是在此举行。

2015 年的 NIPS 大会于 12 月 7 日至 12 月 12 日在蒙特利尔的国会会展中心举行。大会获得了包括微软在内的多家知名 IT 企业的大力赞助。今年共有 3755 名来自世界各地的研究人员注册并参加了会议，相比去年参会人数几乎翻倍。此次大会覆盖的内容除了机器学习和神经科学领域，还包括认知科学、心理学、计算机视觉、统计语言学和信息论等多个领域。

大会日程包括教程（ tutorials ）、大会会议（ conference sessions) 、专题座谈会（ symposia ）和研讨会（ workshops ）四个部分。本次大会一共收到 1838 篇投稿，录用论文 403 篇，录取率为 21.9% ，论文淘汰的数量十分庞大。在这四百多篇论文中，论文方向极其多样化，其中占比最大为深度学习相关论文，占 403 篇录取论文中的 11% ，其次凸优化方向占了 5% 、统计学习理论占了 3% 。此次大会的论文展示环节主要包括口头报告（ oral ）、聚光灯（ spotlight ）和海报（ poster ）三种展示形式。 NIPS 是计算机领域少数坚持单轨制（ singletrack ）的会议，这一制度这能让参会人员更加专注于会议报告本身，但也使得录取论文的展示时间相对有限。因此，仅有 15 篇论文获得了宝贵的 20 分钟口头报告的机会。同时，少量论文获得了 5 分钟时间的聚光灯展示，而剩余绝大部分的论文展示都是海报为主。

智慧激荡的论文引人深思的讨论

本次会议由大会主席 Terrence Sejnowski 致开幕词，常任主席 CorinnaCortes 和 NeilLawrence 介绍了本次会议的投稿、审议标准和论文录用等情况，这也揭开了 NIPS2015 的帷幕。本次大会的最佳论文奖颁给了“ CompetitiveDistribution Estimation: Why is Good-Turing Good ”（ http://papers.nips.cc/paper/5762-competitive-distribution-estimation-why-is-good-turing-good.pdf ）和“ FastConvergence of Regularized Learning in Games ”（ http://papers.nips.cc/paper/5763-fast-convergence-of-regularized-learning-in-games.pdf ）两篇论文。

“ Competitive Distribution Estimation: Why is Good-TuringGood ”这篇论文属于统计学习的理论研究范畴，它对估计离散变量的分布律这一普遍问题，提出了基于 Good-Turing 估计量的两种改进方法，借助对先验的最优估计量，给出了针对任意分布律的近似最优的高效估计。论文不仅指出这两种方法可以快速收敛，同时还给出相应的理论分析。

“ Fast Convergence of Regularized Learning in Games ”这篇论文属于博弈学习研究方向。博弈学习被广泛研究，而该文章中指出一类正则化的学习算法可以大大改进带问题本身有近期偏差（更倾向于近期的回报）的结果，它甚至可以被拓展到多玩家博弈的均衡问题。论文扩展了之前工作研究的二人零和博弈问题，指出在一类问题中如果每个玩家各自使用最优算法将达到更快收敛速度，大大拓展了原有理论对博弈的理解。

“ InteractiveIncremental Question Answering ”则获得了本届大会的突出展示奖。类似于微软亚洲研究院几年前推出的人立方系统，该展示系统能够根据用户给出的人物事实性描述和背景，去猜测出用户希望知道的人名。在展示系统中，用户可以给出几句英文的描述，而系统基于依赖树的递归神经网络，学习用户意图，在语料库中能够找到答案，给出精准的回答。这一系统在大会上大受好评。

除了获奖论文，大会上还有很多令人印象深刻的报告。“ Interactive Control of DiverseComplex Characters With Neural Networks ”（ http://papers.nips.cc/paper/5764-interactive-control-of-diverse-complex-characters-with-neural-networks.pdf ）文章则研究了如何借助递归神经网络作为运动控制器的问题。在不进行运动捕捉以及任务相关的特征设计的前提下，实现了让不同形态和动力系统机器人做出像游泳，飞行，双足、四足行走等运动。

“ Sampling from Probabilistic Submodular Models ”（ http://papers.nips.cc/paper/5744-sampling-from-probabilistic-submodular-models.pdf ），这篇文章研究了一个有趣的采样方法。次模函数是经常出现在经济或计算机领域选址、覆盖、图像背景分割等问题中常见的函数，它描述了边际效益递减的一类特性。作者针对采样概率是次模函数的函数值问题，提出了基于吉布斯采样的方法，不仅保证多项式时间的复杂度，且具有很好的混合时间。

此外，在专题座谈会上，众多专家、学者们还在分会场中开展了有趣而深刻的对话和讨论。“我们周边的算法：机器学习的社会影响力”专题中关于机器人伦理的话题就很有意思。例如自动驾驶技术上就有一个两难问题（ TunnelProblem ）亟待解决：设想你坐在一辆自动驾驶的汽车上，沿着山路的单行线行驶，此时突然有个小孩闯入道路，来不及刹车的情况下，就会面临两难选择：是径直向前，可能直接撞死小孩；还是撞向山崖，可能掉下悬崖？换句话说，自动驾驶的汽车应如何反应？又由谁来决定汽车的决策方式？这一类问题的核心其实是，对于机器学习算法中存在的决策失败概率（风险），或者人类和机器的决策存在冲突时，我们该如何从法律、技术、道德等角度进行约束。

机器学习的盛宴：NIPS 2015 图片来自互联网

触手可及的未来博采众长的前行

NIPS 大会在展示了相关领域最新研究成果的同时，也预示了机器学习的未来的发展趋势。首先是神经网络架构进一步复杂化。在图像、机器翻译等领域，越来越多的研究人员开始选择 LSTM ，利用不同的感知机、目标函数，卷积或者递归架构神经网络，在实际项目中实现更多有意思的应用。通过随机方法近似 (stochasticapproximation) 的算法也受到不少关注。其次是自动推断和黑盒学习技术的发展。今年大会上出现了不少和自动推理技术相关的论文，即通过机器自动推断模型、预测结果。而工程领域的强劲需求也促生了更多可以快速迭代、低学习曲线的算法和系统，例如在本机大会上崭露头角的 STAN 、 python-autograd 等工具。此外还有对概率推断的再审视。本次大会和研讨会中，出现了一些对于概率推断新认知的声音。正如同期发表在《科学》杂志上的论文（ http://science.sciencemag.org/content/sci/350/6266/1332.full.pdf ）所呈现的一样，相比深度学习对于大数据的需求，这种小样本甚至单个样本的模型都能得到不错的预测结果，也促使我们重新审视人类大脑的思维和认知方式。

对于我个人来说，这是我在 NIPS 上的第二篇论文。去年，我参与合作的以在线机器学习中组合问题的纯探索策略研究方向的论文有幸在 NIPS 的进行了口头报告。今年，在之前的基础上，我们深入研究，论文“ StochasticOnline Greedy Learning with Semi-bandit Feedbacks ”（ https://papers.nips.cc/paper/5930-stochastic-online-greedy-learning-with-semi-bandit-feedbacks.pdf ）被大会录用，并受邀于 9 号晚上 7 点至 12 点进行海报展示。这篇论文是与清华的李建老师以及微软亚洲研究院的陈卫老师合作，我们针对在线机器学习领域的组合学习策略研究，提出了一类新的模型，刻画了贪心的学习方法在解决老虎机问题（ bandit ）中应用。我们提出的模型能够借鉴贪心算法的优点，多次采样进行参数估计，求解该问题。

论文海报展示的过程也弥足珍贵，在国内，我们精心制作了 2.4x1.2m 的大幅海报，并进行了多次的展示演练。在现场展示过程中，我们获得了很多教授、研究员和同学的关注和驻足聆听。通过讲解自己的研究，回答听众们的问题，我将自己的成果分享给了在场的听众，同时，我也得到了很多同行们的建议与意见。通过与相关领域专家学者的深入交流，我也迸发出了更多的新想法，与会经历受益匪浅。