转载

在找机器人女友前，你还需要看下这篇最强自然语言处理科普贴

电影《 Her 》里，语音交互成为普遍的交互方式：孤独的作家西奥多，有语音操控的随身计算设备，用语音撰写感人的书信安抚受伤人，还找到了“机器人女友”莎曼萨。

作为一个懒人，每次看这部电影，都对语音交互充满期待。这一天真的就那么远么？造出机器人女友真要到电影里的2025年么？我也找出门问问的CEO雷欣分（ke）享（pu）了下。

造出莎曼萨需要分几步

打造莎曼萨这样的机器人，本质上是建立一套自然语言操作系统。这背后最重要的工作应该是自然语言处理，主要包括： 语音识别、语义分析、语音合成 。

模拟出像莎曼萨那样迷人的声音，就是语音合成。这个过程其实可以理解成语音识别的反过程。现在有不少开源的项目，简单合成并不困难，但是如果要合成和具体某个人的声音，就需要个性化定制了。

仅有语音识别、语义分析、语音合成这些初级技能，萨曼莎肯定就像一般韩剧里的女主，颜值超高，智商超低。要真正讨人喜欢，还需要自然语言搜索、智能推荐这些高阶技能。

这个看起来挺抽象，举几个例子就很容易懂了。

语音识别：语音输入法、微信的声音转文字就是最典型的案例。
语义分析：Siri、微软小冰、小娜就是比较典型的案例了。
自然语言搜索：比如Moto360视频里展示的语音提问、搜索。
智能推荐：还没有看到明显的案例，像《 Her 》里莎曼萨那样主动提供建议，这个还是有点难度的。Google现在也在做这个，当你达到某个地点时，会主动语音推荐一些可能你需要的东西。

造出莎曼萨还有哪些困难要解决

要造出莎曼萨，当然不是一件容易事，还有很多问题要解决。

一、语音识别

1、算法

最近几年，算法方面基本有了定论，深度学习（DNN、RNN）已经成为核心算法，但是还没有大规模的实践，而且有好多问题要解决。

(1) 噪音：人在噪音环境下，也很难听清楚别人在说什么。而算法只能解决部分问题。之前小鱼在家的 CEO 宋程枫就表示他们花费了大量的人力物力财力解决噪音问题。

(2) 方言：这个就果断不解释了。你确定你能听懂全国各地方言么？更何况是机器呢。

(3) 远场：声音的传播会随着距离指数衰减。当人距离声源远时，可能就很难听清，机器也一样。

2、数据

机器学习是现阶段最好的方法，但需要大量的数据训练模型和机器，一般往往需要上万小时的声学、语音数据学习。声学数据可以从网上挖掘，但都是通用的数据资料。而要做得深入、更好用，还需要某个领域的垂直的数据，这可能就需要企业自己去搜集数据。

3、工程

语音识别其实是一个浩大的工程，涉及到：大规模训练、CPU/GPU 集群、云端实时识别等。要做到这些都不容易。如果是移动端，还需要考虑在线 / 离线结合的问题，同时适配众多的手机机型，这一点也不容易。

二、语义分析

1、算法

我们说的话往往是口语，同样一句话有可能有十种说法。比如，可能会说“我想去从东直门去西直门”，也可能会是“去西直门，从东直门”。人很容易理解这些，但对机器来说，就太难了。

另外，与语音识别类似，NLP 处理也要做很多领域的定制的结构化的学习方法。很多时候，人类都无法正确、准确的描述问题，很难从对话中或者直接搜索得到他想要的确切信息。这就会增加机器理解语义的难度。这种时候就只能一边猜，一边问了，用户体验就会下降。

2、数据

机器学习需要大量的数据学习，但目前还缺乏INDOMAIN的标注数据。有些时候，一个词就可以指代不同的东西；有些时候，一个固定的声音，还会有不同的文字和解释。比如，中文的 shangwujiudian，既可以理解成上午 9 点，也可以理解成商务酒店；英文的 buy 和 by 同音，但意义并不同；用户说周杰伦时，既有可能是想知道周杰伦的歌，也可能是想看周杰伦的百科。同时，目前现有的自然语言的数据质量比较差，还需要做筛选，什么样的可以用，什么不能用。

另外，现有的数据还不足以建立起大规模的知识图谱，还需要挖掘大量的知识，放在库里，并不断积累。比如，提到刘德华，一个优质的知识图谱，应该涵盖刘德华的生平经历、歌曲、电影等各种资料。

3、工程

自然语言处理的过程比较复杂。声音信号转化成文字后，还需要后期处理，比如分词、分类、纠错，确定是哪一类信息，明确用户要做什么事，再找到关键参数。这些复杂的流程都对应着庞大的工程。

何时能够造出莎曼萨？

虽然有不少困难，但目前在语音识别、语义分析方面都还是有进展的。

语音识别方面的进展是突破性的。深度学习最成功的应用就是在语音识别上。首先，显著提高准确率，并简化了系统，而且可以更有效的利用海量数据。据说语音识别的准确率已经从 80% 多提升到了 90% 多。

语义识别方面也有进展。2 年前，Google发布“知识图谱”，为用户提供有完整知识体系的搜索结果，为机器搭建更丰富的知识图谱。IBM Watson 也做过深度问答系统，2011 年参加智力竞赛节目“Jeopardy!”，战胜了两位人类冠军选手。目前，手机厂商也推出了比较成熟的语义识别产品，我们最熟悉的就是 Google Now、Siri、Cortana。

近几年，随着智能硬件兴起，在智能车载、智能家居领域，传统输入方式受限，语音交互开始被接受，交互技术逐渐成熟，近几年语音交互使用量已经开始增长，今后 2-3 年会更普及。但要做出莎曼萨，估计至少还要 10 年。