python爬虫xpath教程

环境准备:

pycharm(撩妹神器,人手一个)   lxml(python的三方库)

如果电脑里没有安装lxml的伙伴,可以安装一下,在控制台输入pip intall https://pypi.douban.com/simple lxml,

利用国外的源下载比较慢,我一般用国内的这个源下载,如果有更好的,欢迎各位留个脚印,么么哒 

如果你输入pip show lxml出现像我这样的界面,咦咦咦,厉害了,说明你离走向爬虫大师,差的不是一心半点了

导入文件:

 好的,既然这样,说搞就搞,小白们,扑上来吧,要那种纯小白的,哈哈

在pycharm里边新建一个py文件

然后引入requests(请求库),以及lxml里边的etree,如下图

 我们先打开豆瓣图书的一个网址,网址是“https://read.douban.com/kind/100”,如下图所示

定位爬取:

现在要做的就是去爬取“三体全集”,“评分”以及“小说简介”这三个内容,可是怎么爬呢,那就要用到了xpath这个定位利器,用过的人都说好,他好我也好! //坏笑,坏笑

1.首先利用request进行get请求:

2.然后我们利用请求回来的r.content进行解析

3.下面重点来了,我们解析后的数据进行打印

我们可以知道这个html对象的位置,下面我们就要利用xpath去进行定位

在豆瓣网阅读的网页,我们点击F12,然后点击控制台的箭头,点击一下页面上的三体全集,我们就可以找到该元素的位置了

 在锁定位置点击右键,找到Copy,点击Copy Xpath,然后在pycharm进行定位打印

其中利用content调用xpath方法,里边写上刚才copy好的位置,后边加一个text(),然后进行取[0],

然后运行一下,what fuck,出现了什么,三体全集被打印了,还TM的有这种操作,是在逗我吗!!

评分以及简介同样如此,如果我们想打印多个小说的这些属性,通过定位不难发现,他们是有规律的,我们可以进行循环赋值进行打印,这样就会出现如下所示

源码如下:

猜你喜欢

转载自blog.csdn.net/sinat_38682860/article/details/93388574