提取网页数据

wljdeMacBook-Pro:~ wlj$ scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html

>>> response.url
'https://doc.scrapy.org/en/latest/_static/selectors-sample1.html'
>>> response.text
页面远吗如下：

<html>
<head></head>
<body>
<base href="http://example.com/" />
<title>Example website</title>
<div id="images">
<a href="image1.html">Name: My image 1 <br /><img src="image1_thumb.jpg" /></a>
<a href="image2.html">Name: My image 2 <br /><img src="image2_thumb.jpg" /></a>
<a href="image3.html">Name: My image 3 <br /><img src="image3_thumb.jpg" /></a>
<a href="image4.html">Name: My image 4 <br /><img src="image4_thumb.jpg" /></a>
<a href="image5.html">Name: My image 5 <br /><img src="image5_thumb.jpg" /></a>
</div>
</body>
</html>

XPath选择器

>>> result = response.selector.xpath('.//a')

>>> result.xpath('./img')

输出结果：
[<Selector xpath='./img' data='<img src="image1_thumb.jpg">'>,
<Selector xpath='./img' data='<img src="image2_thumb.jpg">'>,
<Selector xpath='./img' data='<img src="image3_thumb.jpg">'>,
<Selector xpath='./img' data='<img src="image4_thumb.jpg">'>,
<Selector xpath='./img' data='<img src="image5_thumb.jpg">'>]

>>> result[0]
<Selector xpath='.//a' data='<a href="image1.html">Name: My image 1 <'>

>>> response.xpath('//a[@href="image1.html"]/text()').extract()
['Name: My image 1 ']

很多情况下，我们想要匹配第一个元素内容，通过加一个索引来获取。
>>> response.xpath('//a[@href="image1.html"]/text()').extract()[0]
'Name: My image 1 '
>>>
这个写法明显是有风险的，一旦XPath有问题，那么extract()后的结果可能是一个空列表。如果再用索引来取，就导致数组越界。
另外一个方法可以专门提取单个元素，它叫作extract_first()。

>>> response.xpath('//a[@href="image1.html"]/text()').extract_first()
'Name: My image 1 '

也可以为extract_first()方法设置一个默认值参数
>>> response.xpath('//a[@href="image1.html"]/text()').extract_first('Defalt Image')
'Name: My image 1 '
>>> response.xpath('//a[@href="image1"]/text()').extract_first('Defalt Image')
'Defalt Image'
>>> response.xpath('//a[@href="image1"]/text()').extract_first()
>>>

如果XPath匹配不到任何元素，extract_first('Defalt Image')传递了一个参数Defalt Image当默认值，返回值会使用这个参数，输出正是如此。
如果XPath匹配不到任何元素，xtract_first()会返回空，不会报错。extract()[0]则会报错。

CSS选择器

>>> response.css('a[href="image1.html"] img').extract_first()
'<img src="image1_thumb.jpg">'

获取节点内部文本和属性

>>> response.css('a[href="image1.html"]::text').extract_first()
'Name: My image 1 '

>>> response.css('a[href="image1.html"] img::attr(src)').extract_first()
'image1_thumb.jpg'

CSS选择器和XPath选择器一样可以嵌套使用

>>> response.xpath('//a').css('img').xpath('@src').extract()
['image1_thumb.jpg', 'image2_thumb.jpg', 'image3_thumb.jpg', 'image4_thumb.jpg', 'image5_thumb.jpg']

>>> response.xpath('//a').css('img').xpath('@src').extract_first()
'image1_thumb.jpg'

正交匹配

>>> response.xpath('//a/text()').re('Name:\s(.*)')
['My image 1 ', 'My image 2 ', 'My image 3 ', 'My image 4 ', 'My image 5 ']

>>> response.xpath('//a/text()').re('(.*?):\s(.*)')
['Name', 'My image 1 ', 'Name', 'My image 2 ', 'Name', 'My image 3 ', 'Name', 'My image 4 ', 'Name', 'My image 5 ']

>>> response.xpath('//a/text()').re_first('(.*?):\s(.*)')
'Name'

>>> response.xpath('//a/text()').re_first('Name:\s(.*)')
'My image 1 '

值得注意的是，response对象不能直接调用re()和re_first()方法。如果想对全文进行正则匹配，可以先调用xpath()方法再正则匹配。

>>> response.xpath('.').re_first('Name:\s(.*)<br>')
'My image 1 '

猜你喜欢