转载

周志华：机器学习有这两大派别，新人入门别跟错队

雷锋网 (公众号：雷锋网) 按：继移动互联网之后，人工智能技术已经席卷全球。2017 年 3 月 3 日，中国人工智能学会（CAAI）将举办 AIDL2《机器学习前沿》会议，邀请了南京大学的周志华教授担任学术负责人，他届时也将在会议上发表致辞。而在今年 7 月份的 GAIR 大会上，雷锋网也将邀请周志华教授进行主题演讲的分享。

周志华教授是 ACM Fellow(美国计算机学会会士)，AAAS Fellow（美国科学促进会会士），AAAI Fellow（国际人工智能学会会士），IEEE Fellow（国际电气电子工程学会会士），IAPR Fellow（国际模式识别学会会士）。中国人工智能学会机器学习专业委员会前任主任，南京大学计算机软件新技术国家重点实验室常务副主任。在一流国际期刊和顶级国际会议发表论文 100 余篇，被引用逾两万次，H-index 73，被列入计算机领域 H-index 最高的前 100 位学者。

机器学习作为近年来非常火的一个概念，关注者追随者甚众，然而它的渊源及由来却鲜有人知晓。在这篇周志华老师写就的文章中，雷锋网将带领大家一睹机器学习的两大派别，领略其在历史长河中的变迁和进步。本文由雷锋网编辑，并做了不改动原意的修改。

机器学习现在是一大热门，研究的人特多，越来越多的新人涌进来。不少人其实并没有真正想过，这是不是自己喜欢搞的东西，只不过看见别人都在搞，觉着跟大伙儿走总不会吃亏吧。

问题是，真有个「大伙儿」吗？就不会是「两伙儿」、「三伙儿」？如果有「几伙儿」，那到底该跟着「哪伙儿」走呢？

很多人可能没有意识到，所谓的 machine learning community，现在至少包含了两个有着完全不同的文化、完全不同的价值观的群体，称为 machine learning “communities ”也许更合适一些。

第一个 community，是把机器学习看作人工智能分支的一个群体，这群人的主体是计算机科学家。现在的「机器学习研究者」可能很少有人读过 1983 年出的「Machine Learning: An Artificial Intelligence Approach」这本书。这本书的出版标志着机器学习成为人工智能中一个独立的领域。它其实是一部集早期机器学习研究之大成的文集，收罗了若干先贤（例如 Herbert Simon，那位把诺贝尔奖、图灵奖以及各种各样和他相关的奖几乎拿遍了的科学天才）的大作，主编是 Ryszard S. Michalski（此君已去世多年了，他可算是机器学习的奠基人之一）、Jaime G. Carbonell（此君曾是 Springer 的 LNAI 的总编）、Tom Mitchell（此君是 CMU 机器学习系首任系主任、著名教材的作者，机器学习界没人不知道他吧）。Machine Learning 杂志的创刊，正是这群人努力的结果。这本书值得一读。虽然技术手段早就日新月异了，但有一些深刻的思想现在并没有过时。各个学科领域总有不少东西，换了新装之后又粉墨登场，现在热火朝天的 transfer learning，其实就是 learning by analogy 的升级版。

人工智能的研究从以「推理」为重点到以「知识」为重点，再到以「学习」为重点，是有一条自然、清晰的脉络。人工智能出身的机器学习研究者，绝大部分是把机器学习作为实现人工智能的一个途径，正如 1983 年的书名那样。他们关注的是人工智能中的问题，希望以机器学习为手段，但具体采用什么样的学习手段，是基于统计的、代数的、还是逻辑的、几何的，他们并不 care。这群人可能对统计学习目前 dominating 的地位未必满意。靠统计学习是不可能解决人工智能中大部分问题的，如果统计学习压制了对其他手段的研究，可能不是好事。这群人往往也不 care 在文章里 show 自己的数学水平，甚至可能是以简化表达自己的思想为荣。人工智能问题不是数学问题，甚至未必是依靠数学能够解决的问题。人工智能中许多事情的难处，往往在于我们不知道困难的本质在哪里，不知道「问题」在哪里。一旦「问题」清楚了，解决起来可能并不困难。

第二个 community，是把机器学习看作「应用统计学」的一个群体，这群人的主体是统计学家。和纯数学相比，统计学不太「干净」，不少数学家甚至拒绝承认统计学是数学。但如果和人工智能相比，统计学就太干净了，统计学研究的问题是清楚的，不象人工智能那样，连问题到底在哪里都不知道。在相当长时间里，统计学家和机器学习一直保持着距离。慢慢地，不少统计学家逐渐意识到，统计学本来就该面向应用，而机器学习天生就是一个很好的切入点。因为机器学习虽然用到各种各样的数学，但要分析大量数据中蕴涵的规律，统计学是必不可少的。统计学出身的机器学习研究者，绝大部分是把机器学习当作应用统计学。他们关注的是如何把统计学中的理论和方法变成可以在计算机上有效实现的算法，至于这样的算法对人工智能中的什么问题有用，他们并不 care。

这群人可能对人工智能毫无兴趣，在他们眼中，机器学习就是统计学习，是统计学比较偏向应用的一个分支，充其量是统计学与计算机科学的交叉。这群人对统计学习之外的学习手段往往是排斥的，这很自然，基于代数的、逻辑的、几何的学习，很难纳入统计学的范畴。

两个群体的文化和价值观完全不同。第一个群体认为好的工作，对于第二个群体而言可能觉得没有技术含量，但第一个群体可能恰恰认为，简单的才好，正因为很好地抓住了问题本质，所以问题变得容易解决。第二个群体欣赏的工作，第一个群体可能觉得是故弄玄虚，看不出他想解决什么人工智能问题，根本就不是在搞人工智能、搞计算机，但别人本来也没说自己是在「搞人工智能」、「搞计算机」，本来就不是在为人工智能做研究。两个群体各有其存在的意义，应该宽容一点，不需要去互较什么短长。但是既然顶着 Machine Learning 这个帽子的不是「一伙儿」，而是「两伙儿」，那么要「跟进」的新人就要谨慎了，先搞清楚自己更喜欢「哪伙儿」。

引两位著名学者的话结尾，一位是人工智能大奖得主、一位是统计学习大家，名字我不说了，省得惹麻烦：