转载

微软亚洲研究院开源分布式机器学习工具包

为了满足研究人员和开发者日益增长的各种需求，微软亚洲研究院于日前将分布式机器学习工具包（ DMTK ）通过 GitHub （ https://github.com/Microsoft/DMTK ）开源。 DMTK 由一个服务于分布式机器学习的框架和一组分布式机器学习算法构成，是一个将机器学习算法应用在大数据上的强大工具包。

无论是学术界的研究人员还是工业界的开发者， DMTK 可以帮助他们在超大规模数据上灵活稳定地训练大规模机器学习模型。当前版本的工具包包含以下几个部分：

1． DMTK 分布式机器学习框架：它由参数服务器和客户端软件开发包（ SDK ）两部分构成。参数服务器在原有基础上从性能和功能上都得到了进一步提升——支持存储混合数据结构模型、接受并聚合工作节点服务器的数据模型更新、控制模型同步逻辑等。客户端软件开发包（SDK ）支持维护节点模型缓存（与全局模型服务器同步）、节点模型训练和模型通讯的流水线控制、以及片状调度大模型训练等。

2． LightLDA ： LightLDA 是一种全新的用于训练主题模型，计算复杂度与主题数目无关的高效算法。在其分布式实现中，我们做了大量的系统优化使得 LightLDA 能够在一个普通计算机集群上处理超大规模的数据和模型。例如，在一个由8 台计算机组成的集群上，我们可以在具有 2 千亿训练样本（ token ）的数据集上训练具有 1 百万词汇表和 1 百万个话题（ topic ）的 LDA 模型（约 1 万亿个参数），这种规模的实验以往要在数千台计算机的集群上才能运行。