转载

Yann LeCun提交ICLR 2017论文：使用循环实体网络跟踪世界状态

论文标题：TRACKING THE WORLD STATE WITH RECURRENT ENTITY NET WORKS

摘要：我们介绍了一种新模型：循环实体网络（EntNet/Recurrent Entity Network）。它配备了一个动态长期记忆（dynamic long-term memory），能让它在接受新数据时维持和更新世界最新状态的表征。在语言理解任务中，它不仅能像记忆网络（Memory Network（Sukhbaatar et al., 2015））那样能在被要求回答一个问题或者给出回应时推理，还可以一边阅读文本一边进行推理。就像神经图灵机（Neural Turing Machine）或者可微神经计算机（Differentiable Neural Computer，Graves et al., 2014; 2016）那样，它能维持一个固定大小的记忆并能学习去执行基于位置和内容的读取和写入任务。然而，与那些模型不同的是，它有一个简单的并行架构，该架构包含了几个记忆位置，这些位置能实现同时更新。该 EenNet 在 bAbI 任务中实现了新的最佳表现纪录，同时也是首个能在一万个训练样本场景中解决所有任务的方法。我们还证明了它可以解决一个需要大量事实支持的推理任务，而其它方法无法解决这个问题，同时它也可以泛化到其训练范围之外，也能被实际地用到 Children』s Book Test 等大型数据集中，在这项任务上，它的表现十分具有竞争力，能一次阅读一个故事。

论文地址： https://arxiv.org/pdf/1612.03969v1.pdf

原文 http://www.jiqizhixin.com/article/1994

正文到此结束