https://www.toutiao.com/a6662616502908224003/
知乎上一个非常棒的关于NLP最新进展的文章，分享在这里：NLP深度学习最新趋势 - SimpleJian的文章 - 知乎
https://zhuanlan.zhihu.com/p/51479851
该文章主要是对下面论文的一个翻译和总结，翻译的特别好，很好懂，点击最下面的 了解更多 去阅读原委，我这里只节选了一些简介。
文章链接：https://arxiv.org/pdf/1708.02709.pdf
深度学习方法利用多层处理结构来学习数据中的层次化表示，在很多领域都得到了SOTA的结果。最近几年，NLP领域涌现了大量的深度学习模型和方法，这篇文章总结了一些比较重要的在NLP领域广泛应用的深度学习方法，并回顾其发展历程。通过总结和对比不同的模型，让我们对NLP中的深度学习有了一个更详细的了解。
自然语言处理（NLP）是一门为了自动分析和表达人类语言的理论驱动的计算机技术。NLP的研究最早可以追溯到打孔卡和批处理时代，在当时，处理一句话就要7分钟，而现在，我们可以在1秒钟内处理上百万的网页[1]。NLP 使得计算机可以执行各种各样不同层次的自然语言相关任务，从词性标注到机器翻译到对话系统。
深度学习架构和算法已经在诸如计算机视觉和模式识别领域取得了令人瞩目的成果。在这一趋势下，最近NLP领域的研究也日益聚焦到深度学习方法（Fig. 1）。几十年来，针对NLP问题的机器学习方法都是基于高维稀疏特征训练浅层模型（如SVM和logistic regression），在过去几年中，基于神经网络的稠密向量表示已经在很多NLP任务上得到了更好的结果，主要是词向量[2, 3]的成功和深度学习方法[4]引领了这一趋势。与此对比的是，基于传统机器学习的NLP系统往往依赖于手工提取特征，不仅费时费力，而且往往不全。
Collobert et al [5] 用一个简单的深度学习框架就在诸如命名实体识别、语义角色标注和词性标注等NLP任务上打败了最先进的方法。从那开始，大量的复杂的基于深度学习的算法被提出来解决各种NLP任务。这篇文章总结了在NLP领域广泛应用的深度学习方法，包括CNN，RNN，同时也讨论了memory-augment strategies、注意力机制以及最近的无监督模型、强化学习方法、深度生成模型如何用在NLP相关任务中。
这篇文章结构如下：第二部分介绍复杂深度学习模型的基础——分布式表示的相关概念；第三、四、五部分主要讨论主流模型，包括CNN，RNN等；第六部分是关于强化学习在NLP中的应用以及无监督句子表示学习；然后，第七部分阐述了近年来深度学习模型与存储模块结合的发展趋势；最后，第八部分总结了一系列深度学习方法在相关NLP标准数据集上的表现。
总结
深度学习提供了一种可以利用大量数据和计算力的方法，而且几乎不需要人肉特征工程[90]。通过分布式表示，各种深度学习模型在NLP问题上都取得了SOTA。就目前而言，大部分模型都是监督学习的，然而，在很多现实场景中，我们都有大量的未标注数据，要利用这些数据我们需要先进的无监督或者半监督学习方法。如果在测试模型的时候遇到某些特定类别缺少标注数据或者出现新的类别，则需要采用zero-shot等学习策略。虽然这些学习方法仍然处于发展阶段，但我们期待基于深度学习的NLP研究能朝着更好利用无标注数据的方向发展，我们预计这种趋势会随着更多更多更好的模型设计而继续。我们也希望能看到更多采用强化学习的NLP应用，例如对话系统，我们还希望能看到更多多模态学习的研究[190]，因为在现实世界中，语言通常以其他信号为基础或者与之相关。
最后，我们希望能看到更多的深度学习模型，其内部存储（从数据中学到的自下而上的知识）可以通过外部存储（从知识库中继承的自上而下的知识）进行丰富。结合symbolic和sub-symbolic 人工智能将是从NLP到自然语言理解的道路上前进的关键。事实上，依靠机器学习，可以根据过去的经验做出“好的猜测”，因为sub-symbolic方法可以编码相关性，而决策过程也是概率性的。然而，自然语言理解需要的远不止于此，用Noam Chomsky的话来讲，“你不会通过获取大量数据，将它们扔进计算机并对它们进行统计分析来获得科学中的发现：这不是你理解事物的方式，你必须有理论上的见解”。