紙の分析タスク4-紙の分類（追加予定）

紙の分析タスク4-紙の分類（追加予定）

タスクの説明

研究トピック：論文の分類（データモデリングタスク）、既存のデータを使用した新しい論文のモデリング、分類、
学習内容：論文のタイトルを使用したカテゴリ分類の完了。

テキスト分類には、知識のポイントとアイデアが含まれます

• エンコード用のSklearn.preprocessing.MultiLabelBinarizer

アイデア1：TF-IDF +機械学習分類器
は、TF-IDFを直接使用してテキストから特徴を抽出し、分類器を使用して分類し、選択した分類器はSVM、LR、XGboostなどを使用できます。

アイデア2：FastText
FastTextは、エントリーレベルの単語ベクトルです。Facebookが提供するFastTextツールを使用すると、分類子をすばやく作成できます。

アイデア3：WordVec +深層学習分類器
WordVecは高度な単語ベクトルであり、深層学習分類を作成することで分類が完了します。深層学習分類のネットワーク構造では、TextCNN、TextRnn、またはBiLSTMを選択できます。

アイデア4：Bert単語ベクトル
Bertは、強力なモデリングおよび学習機能を備えた、高度に一致した単語ベクトルです。

データ前処理により、タイトルと要約による論文の分類が完了します

パッケージのインポート

# 导入所需的package
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

データのインポート

data = []
with open("E:/datawhale数据分析/arxiv-metadata-oai-2019.json",'r') as f:
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {
    
    'title': d['title'], 'categories': d['categories'], 'abstract': d['abstract']}
        data.append(d)
        
        # 选择部分数据
        if idx > 200000:
            break
data = pd.DataFrame(data)#将list变为dataframe格式，方便用pandas进行分析
data.shape

#通过标题和摘要内容进行论文分类，因此进行合并
data['text'] = data['title'] + data['abstract']
data['text'][0]

data['text'] = data['text'].apply(lambda x:x.replace('\n',' ')) 
data['text'] = data['text'].apply(lambda x:x.lower())
data['text'][0]
data = data.drop(['title','abstract'],axis = 1)
#因为类别有多个需要进行分割
data['categories'][7]
#out:'math.DG'
# 多个类别，包含子分类
data['categories'] = data['categories'].apply(lambda x : x.split(' '))
data['categories'][7]
#out:'math.DG'
# 单个类别，不包含子分类
data['categories_big'] = data['categories'].apply(lambda x : [xx.split('.')[0] for xx in x])
data['categories_big'][7]
#out:math

エンコード用のカテゴリをエンコードする
Sklearn.preprocessing.MultiLabelBinarizer

#将类别进行编码，这里类别是多个，所以需要多编码
from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
data_label = mlb.fit_transform(data['categories_big'].iloc[:])
data_label[0]

アイデア1TFIDFTF
-IDFの紹介とコード
TfidfVectorizerドキュメントを使用する

#思路1使用TFIDF提取特征，限制最多4000个单词，文本向量化：
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(max_features=4000)
data_tfidf = vectorizer.fit_transform(data['text'].iloc[:])

#多标签分类，可以使用sklearn的多标签分类进行封装：
# 划分训练集和验证集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data_tfidf, data_label,
                                                 test_size = 0.2,random_state = 1)

# 构建多标签分类模型
from sklearn.multioutput import MultiOutputClassifier
from sklearn.naive_bayes import MultinomialNB
clf = MultiOutputClassifier(MultinomialNB()).fit(x_train, y_train)

#验证模型精度
from sklearn.metrics import classification_report
print(classification_report(y_test, clf.predict(x_test)))

アイデア2は、深層学習モデルを使用し、単語を埋め込んでからトレーニングします。
まず、テキストに従ってデータセットを分割し、データセットをエンコードして、切り捨てを実行します。
モデルを定義し、トレーニング
Tokenizerを完了します。Tokenizerの
作成と埋め込みの使用

#首先划分训练集和测试集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data['text'].iloc[:], data_label,
                                                 test_size = 0.2,random_state = 1)

#将数据集进行编码并截断
# parameter
max_features= 500
max_len= 150
embed_size=100
batch_size = 128
epochs = 5

from keras.preprocessing.text import Tokenizer
from keras.preprocessing import sequence

tokens = Tokenizer(num_words = max_features)
tokens.fit_on_texts(list(x_train)+list(x_test))

x_sub_train = tokens.texts_to_sequences(x_train)
x_sub_test = tokens.texts_to_sequences(x_test)

x_sub_train=sequence.pad_sequences(x_sub_train, maxlen=max_len)
x_sub_test=sequence.pad_sequences(x_sub_test, maxlen=max_len)

#定义模型并进行训练
# LSTM model
# Keras Layers:
from keras.layers import Dense,Input,LSTM,Bidirectional,Activation,Conv1D,GRU
from keras.layers import Dropout,Embedding,GlobalMaxPooling1D, MaxPooling1D, Add, Flatten
from keras.layers import GlobalAveragePooling1D, GlobalMaxPooling1D, concatenate, SpatialDropout1D# Keras Callback Functions:
from keras.callbacks import Callback
from keras.callbacks import EarlyStopping,ModelCheckpoint
from keras import initializers, regularizers, constraints, optimizers, layers, callbacks
from keras.models import Model
from keras.optimizers import Adam

sequence_input = Input(shape=(max_len, ))
x = Embedding(max_features, embed_size,trainable = False)(sequence_input)
x = SpatialDropout1D(0.2)(x)
x = Bidirectional(GRU(128, return_sequences=True,dropout=0.1,recurrent_dropout=0.1))(x)
x = Conv1D(64, kernel_size = 3, padding = "valid", kernel_initializer = "glorot_uniform")(x)
avg_pool = GlobalAveragePooling1D()(x)
max_pool = GlobalMaxPooling1D()(x)
x = concatenate([avg_pool, max_pool]) 
preds = Dense(34, activation="sigmoid")(x)

model = Model(sequence_input, preds)
model.compile(loss='binary_crossentropy',optimizer=Adam(lr=1e-3),metrics=['accuracy'])
model.fit(x_sub_train, y_train, batch_size=batch_size, epochs=epochs)