天池NLP赛事-新闻文本分类（四）——基于深度学习的文本分类1-FastText

系列文章
天池NLP赛事-新闻文本分类（一） —— 赛题理解
 天池NLP赛事-新闻文本分类（二） —— 数据读取和数据分析
 天池NLP赛事-新闻文本分类（三）——基于机器学习的文本分类
 天池NLP赛事-新闻文本分类（四）——基于深度学习的文本分类1-FastText

四、基于深度学习的文本分类1-FastText

4.1 文本表示方法——FastText

上一章中，我们介绍了几种文本表示方法：One-hot，Bag of Words，N-gram，TF-IDF

上述表示方法的缺陷：转换得到的向量维度很高，需要较长的训练时间；没有考虑单词与单词之间的关系，只是进行了统计。

与这些表示方法不同，深度学习也可以用于文本表示，还可以将其映射到一个低维空间。其中比较典型的例子有：FastText、Word2Vec和Bert。在本章我们将介绍FastText，将在后面的内容介绍Word2Vec和Bert。

FastText

可以参考：https://blog.csdn.net/feilong_csdn/article/details/88655927

FastText是一种典型的深度学习词向量的表示方法，它非常简单通过Embedding层将单词映射到稠密空间，然后将句子中所有的单词在Embedding空间中进行平均，进而完成分类操作。

所以FastText是一个三层的神经网络，输入层、隐含层和输出层。

在这里插入图片描述

扫描二维码关注公众号，回复： 12760393 查看本文章

下图是使用keras实现的FastText网络结构：

在这里插入图片描述

FastText在文本分类任务上，是优于TF-IDF的：

FastText用单词的Embedding叠加获得的文档向量，将相似的句子分为一类
FastText学习到的Embedding空间维度比较低，可以快速进行训练

4.2 基于FastText的文本分类

pip安装

pip install fasttext

Note：这里安装的时候，这个小错误没有管用着也没什么问题
在这里插入图片描述

import pandas as pd
from sklearn.metrics import f1_score

# 转换为FastText需要的格式
train_df = pd.read_csv('../input/train_set.csv', sep='\t', nrows=15000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-5000].to_csv('train.csv', index=None, header=None, sep='\t')

import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, 
                                  verbose=2, minCount=1, epoch=25, loss="hs")

val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-5000:]['text']]
print(f1_score(train_df['label'].values[-5000:].astype(str), val_pred, average='macro'))
# 0.82

4.3 如何使用验证集调参

在使用TF-IDF和FastText中，有一些模型的参数需要选择，这些参数会在一定程度上影响模型的精度，那么如何选择这些参数呢？

通过阅读文档，要弄清楚这些参数的大致含义，那些参数会增加模型的复杂度
通过在验证集上进行验证模型精度，找到模型在是否过拟合还是欠拟合

在这里插入图片描述

这里我们使用10折交叉验证，每折使用9/10的数据进行训练，剩余1/10作为验证集检验模型的效果。这里需要注意每折的划分必须保证标签的分布与整个数据集的分布一致

label2id = {
    
    }
for i in range(total):
    label = str(all_labels[i])
    if label not in label2id:
        label2id[label] = [i]
    else:
        label2id[label].append(i)

通过10折划分，我们一共得到了10份分布一致的数据，索引分别为0到9，每次通过将一份数据作为验证集，剩余数据作为训练集，获得了所有数据的10种分割。不失一般性，我们选择最后一份完成剩余的实验，即索引为9的一份做为验证集，索引为1-8的作为训练集，然后基于验证集的结果调整超参数，使得模型性能更优。

线上0.91

import pandas as pd
from sklearn.metrics import f1_score

%%time
# 转换为FastText需要的格式
train_df = pd.read_csv('./train_set.csv', sep='\t', nrows=200000)
train_df['label_ft'] = '__label__' + train_df['label'].astype(str)
train_df[['text','label_ft']].iloc[:-50000].to_csv('train.csv', index=None, header=None, sep='\t')

train_df.head()

train_df.info()

%%time
import fasttext
model = fasttext.train_supervised('train.csv', lr=1.0, wordNgrams=2, 
                                  verbose=2, minCount=1, epoch=25, loss="hs")


%%time
val_pred = [model.predict(x)[0][0].split('__')[-1] for x in train_df.iloc[-50000:]['text']]
print(f1_score(train_df['label'].values[-50000:].astype(str), val_pred, average='macro'))
# 0.912

test_df = pd.read_csv('./test_a.csv', sep='\t')
test_df

%%time
test_pred = [model.predict(x)[0][0].split('__')[-1] for x in test_df.iloc[:]['text']]

name = ['label']
list = test_pred

test = pd.DataFrame(columns=name, data=list)

test.to_csv('fasttext_submit.csv', index=None)
#线上0.91

测试：
在这里插入图片描述