转载

H2O.ai首席架构师谈深度学习的影响和发展障碍

H2O是一个分布式可伸缩性开源机器学习平台，领先的为分布式计算集群设计的开源内存片内机器学习平台，附带开源Java代码、具有公开可用可伸缩的机器学习，整合了日常工具如R，Python，Hadoop和spark等等。

现在已经有很多深度学习开源实现，比较流行的是： Torch ， Theano ， Caffe ， Petuum ， Deep4J ，以及 H2O 。对于H2O的深度学习，他们将一些小技巧结合起来，使它成为一个非常强大的方法。例如，具有自动自适应权重初始化，自动数据标准化，扩展分类数据，自动处理缺失值，自动自适应学习率，各种正则化技术，自动性能优化，负载均衡，N倍交叉验证，检查点，并在集群用于大型数据集不同的分布式训练模式。而最好的事情是，用户并不需要了解神经网络的任何东西，也没有复杂的配置文件。对于有能力的用户，另外还有不少（详细）选项，使他们能够精细控制学习过程。

H2O.ai首席架构师谈深度学习的影响和发展障碍

Arno Candel是H2O.ai的首席架构师，获评为2014财富大数据全明星之一。也是H2O.ai开源代码库的主要管理者之一。他的研究背景是高性能计算和物理学。专注于从整体上改进H2O机器学习算法。最近在做交叉验证、观察权值、分布式功能、统计梯度加速和新的深度学习并行方案。他在旧金山深度学习峰会上接受了采访。

你是如何开始深度学习方面的工作的？

“我从2013年11月加入H2O.ai时开始分布式深度学习的工作。我第一个任务是改善现有代码，针对有名的MNIST数据集取得有竞争力的表现。几周后，我用全连通前向传输神经网络加上输入dropout取得了创纪录的最低测试集错误率。此后，H2O深度学习演进成具有更多功能、用户友好、全自动以及产品化。”

你认为深度学习将在那些工业界产生最大的冲击影响？

“大多数人类活动已经是基于数据信息，其中很多会变成数据驱动。IoT本身将导致数以亿计的设备以某些形式的人工智能运行。无论它是农业里的作物管理系统，销售业的个性化购物，家用设施的自动化，金融里的p2p借贷，还是汽车工业里兴起的自动驾驶汽车，我们都会见证深度学习技术带来的巨大改变。冲击将是巨大的，而且回彻底改变我们的生活方式。”

你认为造成目前深度学习进展的主要因素有哪些？

“它是硬件、软件和数据可公开获取的结果。神经网络的研究，由于计算机和已标示数据更容易获取，在近几年爆发。计算机和已标示数据两者都是深度学习的关键。开源软件的存在使得数以百万计的人可以在这几年使用世界级水准的机器学习工具。”

你认为未来深度学习领域的要点是什么？

“从阅读论文中提出的新方法，到推出一个可靠可伸缩的系统产品，两者间存在着巨大的鸿沟。大多数组织难以跟上机器学习，特别是深度学习发展的步伐，还停留在过时的基于规则或简单统计模型的方法，它们的性能远远差于当前的深度学习性能。

拖慢采用深度学习的一个障碍是缺乏应用最新研究成果、可伸缩高可靠性的产品级工具。数据科学家不应该应用和调试算法，他们的时间应该更好的用在深度研究和优化工作流程。另一个障碍是缺乏针对这些异常精确而复杂的模型的解读。决策者会犹豫是否采用那些难以甚至不可能被理解的模型。更多的工作需要投入到在不牺牲准确性的前提下，改善模型可读性和降低模型复杂度上面。”

H2O.ai下一步会做什么？

“在H2O.ai，我们的工程师正在改善现有机器学习算法并添加新的内容，但是主要精力还是集中在大数据条件下提高操作可伸缩机器学习工作流程的用户体验。因此我们花了大量精力在质量控制和用户支持。H2O.ai独一无二的地方在于它是以客户为中心的公司，但是我们的产品是开源的，任何人都可以下载它。”

未来五年我们能期待看到深度学习会有哪些进展？

“我预测深度学习技术在运算上会更加高效。当前的深度学习技术相比大自然的黄金定律，还太依赖算力。现在还需要采用太多暴力手段来训练哪怕很简单的概念。我希望我们能减少训练的复杂度，最终拿到一个更简单的基础组建模块，可以学习得一样好，甚至更好。这跟寻找物理里能够统一狭义相对论和量子电动力学，并解释以前不可能解释的概念的大一统理论很相似。在深度学习领域，有很多发展在朝着这一方向。例如，新的递归神经网络模型能聪明地把注意力集中在某个特定关注区域，而不是一次就搜索所有地方。其他的一些想法，包括Hinton针对模型压缩和专家网络的暗知识概念。”