NPL自然语言处理技术,当下火的不得了,所以最近准备分享一下和NPL相关系列的知识,也当时为了加强这方面的印象.今天是第一篇主要介绍一下为什么要学习NPL以及NPL当下的应用场景和NPL的相关技术.
NLP和深度学习发展概况和最新动态
1、NLP历史现在及为什么需要学习NLP技术• NLP是什么？• NLP（ Natural Language Processing ） 是 自然 语言 处理 的 简称，是研究人与计算机交互的语言问题的一门学科。机器理解并解释人类写作与说话方式的能力。近年来，深度学习技术在自然语言处理方面的研究和应用也取得了显著的成果。
NLP能做什么
NLP技术已经无处不在如：提问和回答、知识工程、语言生成、语音识别，语音合成，自动分词，句法分析，语法纠错，关键词提取，文本分类/聚类，文本自动摘要，信息检索（ES,Solr），信息抽取，知识图谱，机器翻译，人机对话，机器写作，情感分析，文字识别，阅读理解，推荐系统，高考机器人等。
为什么需要学习NLP
NLP技术广泛应用于互联网公司，金融公司，机器人公司，医疗公司等等，作为很多公司的核心技术存在。有利于软件开发工程师，进一步提升自己的核心竞争力，提高顷目技术门槛。• NLP算法工程师市场需求及待遇？• 需求量大，从业人员较少，待遇好。
既然如此的火爆,那么它学起来很难吗还是说也是有路可循的,当然任何事情都是有规则可言的,只不过分具体的场景而言,所以对于NPL这块很多牛人也总结了一些经验,这些经验基本上可以说是通用的,现在总结如下
NPL的算法的通用步骤
1）论文的阅读，最新算法的研究
• 2）算法的大概方向的评估训和确定
• 3）练数据收集，清洗以及数据预处理
• 4）算法实现，系统设计，参数调优，模型升级
• 5）模型效果评估与部署
议论文的阅读:
• 机器学习顶级会议：NIPS, ICML, UAI, AISTATS; （期刊：JMLR, ML,Trends in ML, IEEE T-NN）
• 计算机视觉和图像识别：ICCV, CVPR, ECCV; （期刊：IEEE T-PAMI, IJCV,IEEE T-IP）
• 人工智能：IJCAI, AAAI; （期刊AI） ACL• B、搜索引擎（百度学术，谷歌学术，知乎，百度、谷歌、bing）
算法的大概方向的评估训和确定
• A、问题相似度评估
• B、情景相似度评估
• C、语言 是否可切换
数据收集，清洗以及数据预处理
• 数据收集：公司数据、网络数据、公开数据集、GAN生成数据
• 清洗：数据采样，噪声过滤，数据生成
• 数据预处理：特征化和数值化后转化为可训练的数据
算法实现，系统设计，参数调优，模型升级
• 算法实现：参考资料论文
• 系统设计：软件模块设计架构
• 参数调优：更改网络参数
• 模型升级：模型算法升级，错误样本再训练
模型效果评估与部署
• A、准确率
• B、召回率
• C、设计lib库本地调用
• D、封装成服务
NPL技术组件
分词框架:Jibea
词性识别和命名实体识别:Stanfond,Hanlp
深度学习框架:Tensorflow
机器学习框架:Sklearn
开发语言:Python