版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_31456593/article/details/88821063
读论文：A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning
使用一个卷积神经网络，对输入的句子做：词性标注，词块分割(chunks)，命名实体识别，词语相似度以及语言模型等任务。
背景：
很多系统缺乏统一的框架来进行深度语义任务，这些系统有三大缺点:1）它们获得的是浅层语义，因为它们都是线性的。2）为了使线性分类器表现好，他们手工构造了很多特征。3）它们与其他任务分开，导致传播错误
作者定义了一个统一的体系架构，以自动获得与手头任务有关的特征。
作者使用了半监督的方法进行联合学习，除了语言模型，其他的都用到了标签。
作者在这里用到了词嵌入层（2008年），即词嵌入权重根据反向传播学习。
作者使用了带窗口的时延神经网络TDNN（等价于卷积神经网络）
对于每一维特征，作者使用时间上的全局最大池化
联合训练的是嵌入层，模型中既有公用的嵌入层也有不同任务独用的嵌入层
模型训练使用到了语言模型，以周围词预测中间词（若中间词被替换，则预测为负样例）
