Python爬虫技术干货,教你如何实现抓取京东店铺信息及下载图片

什么是Python爬虫开发

Python爬虫开发,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。
在这里插入图片描述
世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。

Python爬虫实例参考

这是一个用Python爬虫实现抓取京东店铺信息以及下载图片的例子,仅供参考。

信息抓取:

在这里插入图片描述
图片下载的:
在这里插入图片描述
注意:

1、在选择信息的时候用CSS

2、用 get_text()方法筛选标签中的文本信息

3、strip ,lstrip,rstrip 的用法:

Python中的strip 用于去除字符串的首尾字符;同理,lstrip 用于去除左边的字符;rstrip 用于去除右边的字符。

这三个函数其实都可以传入一个参数,指定要去除的首尾字符。

但是需要注意的是,传入的是一个字符数组,编译器去除两端所有相应的字符,直到没有匹配的字符,比如:
在这里插入图片描述
theString依次被去除首尾在['s','a','y']数组内的字符,直到字符在不数组内。所以,输出的结果为:
在这里插入图片描述
比较简单吧,lstrip和rstrip原理是一样的。

注意:当没有传入参数时,是默认去除首尾空格和换行符的。
在这里插入图片描述
运行结果:
在这里插入图片描述
以上案例代码部分以图片形式展示,仅供参考。

猜你喜欢

转载自blog.51cto.com/14167862/2349023