自学Python爬虫实战(小白篇)

Python的爬虫很强大,可以高效的提取网站信息,省时省力高效。瞎掰这么多犹如纸上谈兵,下面把这周的部分成果放出来。

爬取京东商品页面信息

1.我们需要从python中安装一个requests库--------在windows 系统下,只需要输入命令pip install requests即可安装。

输入import requests验证是否安装成功。(注意,俩单词中间只有一个空格哦!)

(图示为安装成功)

2.插入链接,我们爬取京东的一款电脑,链接如下https://item.jd.com/55983367371.html-----输入r=requests.get("https://item.jd.com/55983367371.html")

3.输入r.status_code     查看状态码,200为正常。(如果不是两百,文章最后有解决办法)

4.我们查看他的编码信息----r.encoding

5.最后,输入r.text[:1000]获取信息

大多数情况会出现异常情况:

这是被京东的网站截住了,你想去人家的大学大摇大摆拍照,被保安大爷大喝一声“站住!”,把你拦截了。

咋回事?

你把你的真实面目展现给了对方。

咱好歹得伪装一下,给京东的兄弟留点面子。

输入r.request.headers查看他的头部份,

说明我们如实的告诉了门岗,有一个叫 'python-requests/2.24.0'的小毛孩儿想要扒你的信息,大爷当然就六亲不认了,但是没有关系,我们可以装作一个浏览器访问。

解决方案

依次输入:

kv = {'user-agent':'Mozilla/5.0'}
url ="https://item.jd.com/55983367371.html"
r = requests.get(url, headers = kv)

每次输完不要忘记回车哦。

一顿操作猛如虎,成功伪装成浏览器,名字叫做Mozilla/5.0

再操作,Victory

同理,如果状态码异常了(非200),再进行同样的操作就OK了!

赶紧找个其他的商品试试吧!

猜你喜欢

转载自blog.csdn.net/m0_46565226/article/details/108327609