学习笔记
编辑器：Sublime
本Blog回答一下爬虫案例4里为，啥我在Xpath Helper可以匹配到URL，但是在python中就匹配不到了的小问题
在以往写爬虫时，我会在前端页面中，选中要爬取的内容，然后右键点击【审查元素】，按照HTML结构写一个Xpah表达式。之后再把写好的Xpath表达式用Xpath Helper 在前端页面中测试一下，如果匹配成功，那么我就在爬虫程序中使用这个Xpath表达式。但是有的时候在前端页面中，我的Xpath表达式匹配成功了，在python中就匹配不到数据了，，这是个啥情况？？
现在有一种解释
因为，我们再前端页面中看到的HTML结构，并不一定是网站给我们响应的结构.有些网页中被嵌入了JavaScript,当我们用浏览器打开这些页面时，就触发了这些JS, 这些JS一旦执行，网页的页面结构就被改变了！
所以, 如果我们在页面中用Xpath Helper能匹配到信息，不代表在程序中就能匹配到网页响应给我的HTML页面中的信息
这时该咋整？??我们可以先查看网页源代码(因为网页源代码里的HTML结构，才是网页响应给我们的真正的HTML结构)，【CTRL+F】搜索要爬取的内容，再观察此时的页面结构，最后重新写XPath.
- 来个例子吧
现在，我想爬取怪物猎人吧里一个帖子中的视频。
我们右键点击要爬取的视频，看一下【审查元素】里的HTML结构:
我们可以看到这个视频的URL地址在video标记的src属性里，所以我想这样写Xpath:
//video/@src
我们利用Xpath Helper测试一下，看能不能匹配到：
很好！匹配到了，现在我开始用python爬取这个视频：
import requests
from lxml import etree
url = 'https://tieba.baidu.com/p/6610350138'
headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'}
html = requests.get(url, headers = headers).content.decode('utf-8')
parse_html = etree.HTML(html)
my_xpath = '//video/@src'
data_list = parse_html.xpath(my_xpath)
print(data_list)
输出：
[]
[Finished in 7.4s]
嘤嘤嘤，我不开心，啥都没匹配到！
我们打开网页源代码，搜索一下这个vodieo的URL，检查一下HTML页面结构：
<div class="video_src_wrapper"><embed allowfullscreen="true" pluginspage="http://www.macromedia.com/go/getflashplayer" type="application/x-shockwave-flash" wmode="transparent" play="true" loop="false" menu="false" allowscriptaccess="never" scale="noborder" src="https://tb1.bdstatic.com/tb/zt/movideo/video.swf?thumbnail=b3de9c82d158ccbf652d0a5c0ed8bc3eb03541c6&video=30_9254ebeacd341393f9d9dcb0a615b21b&product=tieba-movideo" class="BDE_Flash" video_from="百度贴吧" duration="00:30" data-video="https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode-crf/1934937_98718bd465733e5f2edd568e6f346f6b_0.mp4" vhsrc="https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo/30_9254ebeacd341393f9d9dcb0a615b21b.mp4" width="640" height="368" vsrc="https://tieba.baidu.com/mo/q/movideo/page?thumbnail=b3de9c82d158ccbf652d0a5c0ed8bc3eb03541c6&video=30_9254ebeacd341393f9d9dcb0a615b21b&product=tieba-movideo" vpic="http://tiebapic.baidu.com/forum/w%3D580/sign=7240deb121d12f2ece05ae687fc3d5ff/b3f04236acaf2eddaa60f68f9a1001e938019338.jpg" pic_width="640" pic_height="368" duration="30" size="0">
很好！页面结构真的和我们之前看到的不大一样呢~
我们重新写一个Xpath表达式，来匹配这个视频URL地址(注意！这里写的Xpath表达式不具有共性，只是为了讲明白这个案例，只针对该页面中的视频)：
//div[@class="video_src_wrapper"]/embed/@data-video
再来用用Python爬一下：
import requests
from lxml import etree
url = 'https://tieba.baidu.com/p/6610350138'
headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'}
html = requests.get(url, headers = headers).content.decode('utf-8')
parse_html = etree.HTML(html)
my_xpath = '//div[@class="video_src_wrapper"]/embed/@data-video'
data_list = parse_html.xpath(my_xpath)
print(data_list)
输出：
['https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode-crf/1934937_98718bd465733e5f2edd568e6f346f6b_0.mp4']
[Finished in 4.8s]
很好！爬取到了呢~
后记：这只是Xpath Helper为啥不能全信的其中一个原因，其他原因在之后的系列Blog里会一一阐述，学习ing…
