自然语言处理 数据集

SQuAD:一个最新的阅读理解数据集。该数据集包含 10 万个(问题,原文,答案)三元组,原文来自于 536 篇维基百科文章。
安然数据集:安然集团高级管理层的电子邮件数据。
Google Books Ngram:来自Google书籍的词汇集合。
博客语料库:从blogger.com收集的681,288篇博客文章。每个博客至少包含200个常用的英语单词。
维基百科链接数据(Wikipedia Links data):维基百科全文。该数据集包含来自400多万篇文章,近19亿字。你可以对字、短语或段落本身的一部分进行搜索。
Gutenberg电子图书列表:Project Gutenberg的附加注释的电子书列表。
加拿大议会的文本块(Hansards text chunks of Canadian Parliament):来自第36届加拿大议会记录的130万对文本。
危险边缘 (Jeopardy):来自问答游戏节目《危险边缘》(Jeopardy) 的超过 20 万个问题的存档。
英文SMS垃圾邮件收集(SMS Spam Collection in English):包含5,574条英文垃圾邮件的数据集。
Yelp评论(Yelp Reviews):Yelp发布的一个开放数据集,包含超过500万次评论。
UCI的垃圾邮件库(UCI’s Spambase):一个大型垃圾邮件数据集,用于垃圾邮件过滤。

问答
HotpotQA:面向自然语言和多步推理问题,新型问答数据集
CoQA斯坦福最新问答数据集,囊括来自 7 个不同领域的文本段落里 8000 个对话中的 127,000 轮问答。

推荐系统
yf_amazon 数据集:52 万件商品,1100 多个类目,142 万用户,720 万条评论/评分数据
yf_dianping 数据集:24 万家餐馆,54 万用户,440 万条评论/评分数据
dmsc_v2 数据集:28 部电影,超 70 万 用户,超 200 万条 评分/评论 数据
ez_douban 数据集:5 万多部电影(3 万多有电影名称,2 万多没有电影名称),2.8 万 用户,280 万条评分数据
亚马逊评论:3500万条来自亚马逊的评论,时间长度为18年。数据包括产品和用户信息、评级等。

情感/观点/评论 倾向性分析
yf_amazon 数据集:52 万件商品,1100 多个类目,142 万用户,720 万条评论/评分数据
yf_dianping 数据集:24 万家餐馆,54 万用户,440 万条评论/评分数据
dmsc_v2 数据集:28 部电影,超 70 万 用户,超 200 万条 评分/评论 数据
simplifyweibo_4_moods 数据集:36 万多条,带情感标注 新浪微博,包含 4 种情感, 其中喜悦约 20 万条,愤怒、厌恶、低落各约 5 万条
weibo_senti_100k 数据集:10 万多条,带情感标注 新浪微博,正负向评论约各 5 万条
online_shopping_10_cats 数据集:10 个类别,共 6 万多条评论数据,正、负向评论各约 3 万条, 包括书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店
waimai_10k 数据集:某外卖平台收集的用户评价,正向 4000 条,负向 约 8000 条
ChnSentiCorp_htl_all 数据集:7000 多条酒店评论数据,5000 多条正向评论,2000 多条负向评论
多域情感分析数据集(Multidomain sentiment analysis dataset):一个比较有历史的数据集,里面还有一些来自亚马逊的产品评论。
IMDB: 影评,也是比较有历史的二元情绪分类数据集、数据规模相对较小,里面有 25,000 条电影评论。
斯坦福情感树银行(Stanford Sentiment Treebank):带有情感注释的标准情绪数据集。
Sentiment140:一个流行的数据集,它使用16万条推文,并把表情等等符号剔除了。
Twitter 美国航空公司情绪数据集 (Twitter US Airline Sentiment):自 2015 年 2 月以来美国航空公司的 Twitter 数据,分类为正面、负面和中性推文。

中文命名实体识别
dh_msra 数据集:5 万多条中文命名实体识别标注数据(包括地点、机构、人物)

猜你喜欢

转载自blog.csdn.net/weixin_44356285/article/details/86421494
今日推荐