自然语言处理综述--《自然语言理解》笔记

         有时候觉得很好笑,每天说自己做自然语言处理,可真正,自然语言处理到底是做什么的,我也没有搞明白,不透彻,整个背景还是空缺的,现在对这部分的知识点进行弥补。

          看的是宗成庆老师的这本书的讲义。

         我们说的自然语言处理(Nature language processing,NLP),是计算语言学(Computational Linguistics)的应用领域。什么是计算语言学,用通俗的话来说的话,就是用计算机,采用统计分析的手段来对语言进行处理,然后得到需要的知识,达到需要达到的目的。在NLP中,研究很热的一个分支是自然语言理解(Nature language Understanding, NLU)。慢慢发展,其实这三个概念指代相同的事情,我们一般不做细分。

          NLP的研究内容,按应用来划分:机器翻译(Machine translate, MT), 信息检索(Information retrieval), 自动文摘(Automatic summarization/Automatic abstracting),文本分类(Text categorization/classification),问答系统(Question-answering system),信息过滤(Information filtering), 语言教学(Language teaching), 文字识别(Character recognition),文字编辑和自动校对(Automatic proofreading),语音识别(speech recognition), 文语转换(text-to-speech), 说话人识别/认同/验证(speaker recognition identification/verification)。

           NLP的基本问题:语音学问题(Phonetics),形态学问题(Morphology),语法学问题(Syntax),语义学问题(Semantics),语用学问题(Pragmatics)。

           NLP中面临的困难:歧义(结构, 语义), 未知的语言现象, 不同的语系,不用的语言单位,不同的语法等。

          NLP发展的三个阶段,在出现第一台计算机的时候,是萌芽期;考虑信息检索,人机接口,对话系统等基于规则的方法来做,是自然语言处理的发展期;基于大规模语料库的统计方法的应用是NLP的繁荣期。

           在NLP的应用中,"AI完全"问题有:翻译,文摘,复述,问答。。信息检索,文档分类似乎已经有比较好的解决。从阿里的NLP的部署,可以对自然语言处理有一个新的认知。阿里NLP



猜你喜欢

转载自blog.csdn.net/angela2016/article/details/80747639