Python爬虫入门——百度百科词条数据

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/IPOmonkey/article/details/82780232

1.爬虫的简介和价值

• 爬虫： 一段自动抓取互联网信息的程序
• 价值：互联网数据，为我所用
• 可以应用到：新闻聚合阅读器、最爆笑的故事APP、最漂亮美女图片网、图书价格对比网、Python技术文章大全等等。

2.URL管理器

URL管理器：管理待抓取URL集合和已抓取URL集合

实现方式

1. 内存
   • Python内存
   • 待爬取URL集合：set()
   • 已爬取URL集合：set()
2. 关系数据库
   • MySQL
   • urls(url, is_crawled)
3. 缓存数据库
   • redis
   • 待爬取URL集合：set
   • 已爬取URL集合：set

3.网页下载器

网页下载器：将互联网上URL对应的网页下载到本地的工具

实现方法：Python中 urllib2 模块(python2)或 urllib.request模块(python3)

4.网页解析器

网页解析器：从网页中提取有价值数据的工具

实现方式

1. 正则表达式 ----模糊匹配
2. html.parser ----结构化解析
3. BeautifulSoup[可以使用2和4] ----结构化解析(http://www.crummy.com/software/BeautifulSoup)
4. lxml ----结构化解析

5.应用

入口页：https://baike.baidu.com/item/Python/407313

URL 格式 -词条页面URL：/item/xxx

数据格式：

1.标题：

<dd class="lemmaWgt-lemmaTitle-title"><h1>...</h1></dd>

2.简介：

<div class="lemma-summary" label-module="lemmaSummary">xxxxx</div>

6.代码网址（https://github.com/Demontt/python-BaikeSpider）