问题解决：爬取京东商品信息返回网址而不显示内容

1.爬取原页面

  这里要爬取的原页面如下图：

2.错误代码

  不知道各位小伙伴是不是和我一样使用的是如下图的代码呢？

import requests
url = "http://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    print(r.status_code)
    r.encoding = r.apparent_encoding
    print(r.text[:1001])
except:
    print("爬取异常")

  我用以上代码得到的结果是这样的

  只有一个网址，而并没有和预想的一样会显示内容，这是什么原因呢，我们来分析。

3.错误分析

  使用IDLE交互式环境进行错误分析

（1）查看状态码和编码方式

  通过状态码和编码方式的查看我们发现好像并没有任何问题，这时候就要考虑是不是京东对爬虫做了user-agent限制呢

（2）输出提交给京东的头部信息

  通过输出头部信息，我们发现，在提交给京东的信息中，我们很诚实的告诉了京东所使用的爬虫获取信息，由于京东对爬虫做了来源审查，所以我们并不能查看爬取的内容

（3）解决办法

  既然找到了错误原因，那么相应的解决办法也就显而易见了，我们只需要使用字典构建一个构造一个键值对，更改下头部信息。将上述user-agent中的内容改成任意浏览器即可。

headers = {
    
    "User-Agent": "Mozilla/5.0"}

  Mozilla/5.0表示提交访问的可能是火狐、Google等任意浏览器，它是标准的浏览器的身份标识字段。

4.完整代码

import requests
url = "http://item.jd.com/2967929.html"
headers = {
    
    "User-Agent": "Mozilla/5.0"}
try:
    r = requests.get(url, headers=headers)  #因为京东有user-agent限制所以要加入头部信息
    r.raise_for_status()
    print(r.status_code)
    r.encoding = r.apparent_encoding
    print(r.text[:1001])
except:
    print("爬取异常")

输出内容如下图，我们可以看到已经能够正常爬取内容了

  本篇完，如有错误欢迎指出~