文本规范化(Text Normalization):任何一种NLP模型,都需要先进行文本规范化
文本规范化至少包含如下三个部分:
(1)分词(Segmenting/tokenizing words from running text)
(2)单词规范化(Normalizing word formats)
(3)分句(Segmenting sentences in running text)
未完待续。。。
文本规范化(Text Normalization):任何一种NLP模型,都需要先进行文本规范化
文本规范化至少包含如下三个部分:
(1)分词(Segmenting/tokenizing words from running text)
(2)单词规范化(Normalizing word formats)
(3)分句(Segmenting sentences in running text)
未完待续。。。