scrapy 入门爬取新闻

为文本分类实验爬取数据集,要求一百万,分类>10类。

参考链接:http://litianyi.cc/technology/2015/12/01/text-classification-1/

文档:https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

最基础的爬取,实验新浪科技大概3k+,腾讯科技5k+,一财5w+,就爬不动了。

猜你喜欢

转载自www.cnblogs.com/icode-girl/p/9902236.html