什么是Natural Language Understanding(NLU)?

1.什么是NLU?

自然语言理解(Natural Language Understanding, NLU)是所有支持机器理解文本内容的方法模型或任务的总称,即能够进行常见的文本分类、序列标注、信息抽取等任务。

简单来说,是指自然语言理解的运用希望机器人能够像人一样,具备正常的语言理解能力

例如,意图识别和实体提取的关键技能。当人类语言中表达“订机票”,可以有多种自然的表达:“看一下去上海的航班;帮我查一下去北京的机票;看看航班,下周二出发去纽约的”等等。 但机器智能处理“结构化的数据”(关键词提炼捕捉信息),需要文字信息中包含有提前设定好的关键词“订机票”,否则系统无法识别语言的含义。不过,自然语言理解出现后,可以让机器从各种自然语言的表达中区分出哪些话归属于一类,而不再依赖过于死板的关键词。通过训练,机器还能够在句子当中自动提取出目的地或出发时间等。

2.NLU的应用有哪些?

常见的有机器翻译、机器客服或智能音响等。

此外,商业银行在数字化转型中,非结构化数据逐渐成为了商业银行支撑业务发展的新引擎。因而,在语音识别(ASR)、光学字符识别(OCR)技术的加持推动下,业务对非结构化文本、语音、图片的内容挖掘需求日益增长,要求也越来越高。通过运用NLP技术即可使银行相关任务实施落地,如财产证明要素提取、智能语音分流、简历分析等,辅助提升银行服务能力,实现降本增效。

例如下图所示,用户通过手机银行上传收入证明、征信报告等待审核材料,通过OCR、NLP关键信息抽取模型服务,精准提取用户上传的财产证明中姓名、收入、资产等关键信息要素,在线实时返回审核结果,秒速告知客户财产证明材料中存在的问题,方便客户自主审核而无需排队等候,从而进一步优化人工成本,降低合规风险,提升业务审批效率。

在这里插入图片描述

3.NLU的实现方式有哪些?

自然语言理解跟整个人工智能的发展历史类似,一共经历了3次迭代:

1. 基于规则的方法: 通过总结规律来判断然语的意图,常的法有:CFG、JSGF等。

2. 基于统计的方法: 随后出现了基于统计学的 NLU 方式,常见的方法有:SVM、ME等。

3. 基于深度学习的方法: 随着深度学习的爆发,CNN、RNN、LSTM 都成为了最新的"统治者"。2019年,以自注意力机制(Transformer)为基础的BERT 和 GPT-2 的表现震惊了业界,甚至在不少任务上超越了人类水准。

4.NLU实现的难点

1. 语言的多样性: 由于自然语言的组合方式十分灵活,字、词、短语、句子、段落等都有不同的组合可以表达出多层含义,例如:我要听首《xxxx》;放一首《xxxx》;唱一首《xxxx》;播放《xxxx》

2. 语言的歧义性: 当不联系上下文理解语句,缺少文本环境的约束,语言就会产生较大的歧义性,例如:识别到单句文本【我要去拉萨】NLU则可能会理解出“需要火车票?需要飞机票?想听音乐?还是想查找景点?”

3.语言的鲁棒性: 自然语言在输入的过程中,尤其是通过语音识别获得的文本,会存在多字、少字、错字、噪音等问题。例如:“我想吃面包;我想吃面;我想吃面条”

4.语言的知识依赖: 语言的本质是对世界的符号化描述,语言天然链接着世界知识,例如:“7天”——可以表示时间,也可以表示酒店名;“大鸭梨”——除了表示水果,还可以表示餐厅名。

5. 语言的上下文: 上下文的概念包括很多种:对话的上下文、设备的上下文、应用的上下文、用户画像等。例如:

U:买张火车票

A:请问你要去哪里?

U:宁夏

U:来首歌听

A:请问你想听什么歌?

U:宁夏

猜你喜欢

转载自blog.csdn.net/m0_38068876/article/details/131415648
今日推荐