转载

Machine learning: Trends,perspectives, and prospects读书笔记

M. I. Jordan和T. M. Mitchell在Science上发表了一篇论文Machine learning: Trends,perspectives, and prospects，这篇论文对机器学习的基本概念，发展状况，应用，常见的学习算法做了介绍。对于刚入门来说，构建一个比较基本的机器学习的概念图。

在人工智能里，机器学习作为一种解决计算机视觉，语音识别，自然语言处理，机器控制等应用的可行的软件实现方法。

机器学习需要解决的两大核心问题：

Machine learning is a discipline focused on two interrelated questions: How can one construct computer systems that automatically improve through experience and What are the fundamental statistical-computational-information-theoretic laws that govern all learning systems, including computers, humans, and organizations?

1.如何构建一个可以通过学习经验而不断完善的计算机系统

2.归纳出可计算的涵盖所有学习系统的规律

对于一个学习算法，需要考虑一下问题：

Whatever the learning algorithm, a key scientific and practical goal is to theoretically characterize the capabilities of specific learning algorithms and the inherent difficulty of any given learning problem: How accurately can the algorithm learn from a particular type and volume of training data? How robust is the algorithm to errors in its modeling assumptions or to errors in the training data? Given a learning problem with a given volume of training data, is it possible to design a successful algorithm or is this learning problem fundamentally intractable?Given a learning problem with a given volume of training data, is it possible to design a successful algorithm or is this learning problem

fundamentally intractable?

1.该算法的适用范围

2.学习算法固有的局限性：

（1）该算法如何从特定的类型和一定数量的训练数据精确地学习呢？

（2）健壮性？

（3）对于给定的训练数据，得出一个学习算法还是一个难以解决的学习问题是未知的

机器学习发展的源动力：

Big data makes scientists and engineers turn to machine learning for solutions to the problem of obtaining useful insights, predictions, and decisions from such data sets. Instances of this trend toward capturing and mining large quantities of data to improve services and productivity can be found across many fields of commerce, science, and government.

人们想要从“大数据”挖掘出有用的信息，做出科学的预测。

常见的机器学习算法：

1.supervised learning （监督学习）

监督学习是最常见的分类问题，因为目标往往是让计算机去学习我们已经创建好的分类系统。数字识别再一次成为分类学习的常见样本。更一般地说，对于那些有用的分类系统，和容易判断的分类系统，分类学习都适用。在某些情况下，如果 Agent 能自行计算分类的话，它（ Agent ）可能不需要事先给出分类。监督学习是训练神经网络和决策树的最常见技术。这两种技术（神经网络和决策树）高度依赖于事先确定的分类系统给出的信息。对于神经网络来说，分类系统用于判断网络的错误，然后调整网络适应它；对于决策树，分类系统用来判断哪些属性提供了最多的信息，如此一来可以用它解决分类系统的问题。我们将会看到这两者（神经网络和决策树）更多的细节，但在目前，它们用预先确定分类方法的形式来“监督”就足够了。

2.unsupervised learning （非监督学习）

非监督学习：目标是我们不告诉计算机怎么做，而是让它（计算机）自己去学习怎样做一些事情。非监督学习一般有两种思路。第一种思路是在指导 Agent 时不为其指定明确的分类，而是在成功时采用某种形式的激励制度。需要注意的是，这类训练通常会置于决策问题的框架里，因为它的目标不是产生一个分类系统，而是做出最大回报的决定。这种思路很好的概括了现实世界， Agent 可以对那些正确的行为做出激励，并对其他的行为进行处罚。另一种思路是，Agent 把它的行为建立在前一次奖惩的基础上。在某种意义上，所有的这些信息都是不必要的，因为通过学习激励函数， Agent 不需要任何处理就可以清楚地知道要做什么，因为它（ Agent ）知道自己采取的每个动作确切的预期收益。对于防止为了计算每一种可能性而进行的大量计算，以及为此消耗的大量时间（即使所有世界状态的变迁概率都已知），这样的做法是非常有益的。另一方面，在尝试出错上，这也是一种非常耗费时间的学习。

一种次要的非监督学习类型称之为聚合（原文为 clustering ，译者注）。这类学习类型的目标不是让效用函数最大化，而是找到训练数据中的近似点。聚合常常能发现那些与假设匹配的相当好的直观分类。例如，基于人口统计的聚合个体可能会在一个群体中形成一个富有的聚合，以及其他的贫穷的聚合。

3.reinforcement learning（强化学习）

强化学习是从动物学习、参数扰动自适应控制等理论发展而来，其基本原理是：如果 Agent 的某个行为策略导致环境正的奖赏 ( 强化信号 ) ，那么 Agent 以后产生这个行为策略的趋势便会加强。 Agent 的目标是在每个离散状态发现最优策略以使期望的折扣奖赏和最大。

强化学习把学习看作试探评价过程， Agent 选择一个动作用于环境，环境接受该动作后状态发生变化，同时产生一个强化信号 ( 奖或惩 ) 反馈给 Agent ， Agent 根据强化信号和环境当前状态再选择下一个动作，选择的原则是使受到正强化 ( 奖 ) 的概率增大。选择的动作不仅影响立即强化值，而且影响环境下一时刻的状态及最终的强化值。

强化学习不同于连接主义学习中的监督学习，主要表现在教师信号上，强化学习中由环境提供的强化信号是 Agent 对所产生动作的好坏作一种评价 ( 通常为标量信号 ) ，而不是告诉 Agent 如何去产生正确的动作。由于外部环境提供了很少的信息， Agent 必须靠自身的经历进行学习。通过这种方式， Agent 在行动一一评价的环境中获得知识，改进行动方案以适应环境。

强化学习系统学习的目标是动态地调整参数，以达到强化信号最大。

不过这一类学习可能会非常强大，因为它假定没有事先分类的样本。在某些情况下，例如，我们的分类方法可能并非最佳选择。在这方面一个突出的例子是 Backgammon （西洋双陆棋）游戏，有一系列计算机程序（例如 neuro-gammon 和 TD-gammon ）通过非监督学习自己一遍又一遍的玩这个游戏，变得比最强的人类棋手还要出色。这些程序发现的一些原则甚至令双陆棋专家都感到惊讶，并且它们比那些使用预分类样本训练的双陆棋程序工作得更出色。

参考： http://blog.csdn.net/cxf7394373/article/details/5938746

4.其他学习算法：

semisupervised learning,discriminative traning,active learning,causal modeling

机会：

how to construct computer lifelong or never-ending learners that operate nonstop for years, learning thousands of interrelated skills or functions within an overall architecture that allows the system to improve its ability to learn one skill based on having learned another (26–28). Another aspect of the analogy to natural learning systems suggests the idea of team-based, mixed-initiative learning.

1.如何实现机器不断地从过去的经验学习？

2.团队合作与跨领域合作

挑战：

机器学习需要数据，而收集数据时往往会涉及到个人隐私。毫无疑问，机器学习能够带来巨大的社会，经济效益。假如进行机器学习的目的是为了个人，组织的利益而不是全人类的利益，后果将不堪设想。另外，如何平衡个人隐私和公共利益的关系。

后记：

一大堆专业词汇，初次接触时的确读得有点吃力，真真是单词不认识就不提了，即使单词认识，组合起来就不认识了。专业词汇一个一个百度之，一段读下来接近一小时，整篇论文花了整整两天。之后又花了一个下午的时间再把论文通读一篇才大致读懂，还真是佩服我自己啊~

正文到此结束