数据竞赛-“达观杯”文本智能处理-Day1
1.竞赛简介
大赛链接点击 此处
a) 任务
建立模型通过长文本数据正文(article),预测文本对应的类别(class)
b) 数据
链接: https://pan.baidu.com/s/11AOOn0xlv0TZjGeFfRc3Rw 提取码: 58r9
数据包含2个csv文件:
- train_set.csv:
此数据集用于训练模型,每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列:
第一列是文章的索引(id),第二列是文章正文在“字”级别上的表示,即字符相隔正文(article);第三列是在“词”级别上的表示,即词语相隔正文(word_seg);第四列是这篇文章的标注(class)。
注:每一个数字对应一个“字”,或“词”,或“标点符号”。“字”的编号与“词”的编号是独立的! - test_set.csv:
此数据用于测试。数据格式同train_set.csv,但不包含class。
注:test_set与train_test中文章id的编号是独立的。
c) 评分标准
评分算法
binary-classification
采用各个品类F1指标的算术平均值,它是Precision 和 Recall 的调和平均数。
其中,Pi是表示第i个种类对应的Precision, Ri是表示第i个种类对应Recall。
AB榜的划分方式和比例:
【1】评分采用AB榜形式,提交文件必须包含测试集中所有用户的预测值。排行榜显示A榜成绩,竞赛结束后2小时切换成B榜单。B榜成绩以选定的两次提交或者默认的最后两次提交的最高分为准,最终比赛成绩以B榜单为准。
【2】此题目的AB榜是随机划分,A榜数据占50%,B榜使用全量测试集,即占100%。
2.读取数据,观察数据
import pandas as pd
file_path = 'new_data/train_set.csv'
df_train = pd.read_csv(file_path)
print(df_train.head())
数据文件new_data和py文件位于同一目录
运行结果:
3.训练集数据划分
import pandas as pd
from sklearn.model_selection import train_test_split
file_path = 'new_data/train_set.csv'
df_train = pd.read_csv(file_path)
print(df_train.head())
x = df_train.drop(['id','class'], axis=1)
y = df_train['class']
x_train, x_valid, y_train, y_valid = train_test_split(x, y, test_size=0.1, random_state=1)
print('x_train info')
print(x_train.info())
print('------------------------')
print('x_valid info')
print(x_valid.info())
运行结果:
4.对数据以及赛题的理解和发现
待补充