XPath与多线程爬虫

#encoding=utf-8
    #在进行网页抓取的时候，分析定位html节点是获取抓取信息的关键，目前我用的是lxml模块(用来分析XML文档结构的，当然也能分析html结构)， 利用其lxml.html的xpath对html进行分析，获取抓取信息;
#神器XPath的介绍与配置
    #首先要说的是XPath数据类型。XPath可分为四种数据类型：
    # 节点集（node-set） :节点集是通过路径匹配返回的符合条件的一组节点的集合。其它类型的数据不能转换为节点集。
    # 布尔值(boolean) :由函数或布尔表达式返回的条件匹配值，与一般语言中的布尔值相同，有true和false两个值。布尔值可以和数值类型、字符串类型相互转换。
    # 字符串(string) :字符串即包含一系列字符的集合，XPath中提供了一系列的字符串函数。字符串可与数值类型、布尔值类型的数据相互转换。
    # 数值(number) :在XPath中数值为浮点数，可以是双精度64位浮点数。另外包括一些数值的特殊描述，如非数值NaN（Not-a- Number）、正无穷大 infinity、负无穷大-infinity、正负0等等。number的整数值可以通过函数取得，另外，数值也可以和布尔类型、字符串类型相互转换。
        #XPath是一种语言，可以在XML文档中查找信息，支持HTML，通过元素和属性进行导航，可以用来提取信息，比正则表达式简单且强大
# 神器XPath的使用
# 神器XPath的特殊使用
# 神器XPath的特殊用法
# Python并行化介绍与演示
# 实战--百度贴吧爬虫
#
# import lxml
# from lxml import etree
# import requests
# from requests import get

from lxml import etree
#定义多行字符串
html = '''
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>测试-常规用法</title>
</head>
<body>
<div id="content">
    <ul id="useful">
        <li>这是第一条信息</li>
        <li>这是第二条信息</li>
        <li>这是第三条信息</li>
    </ul>
    <ul id="useless">
        <li>不需要的信息1</li>
        <li>不需要的信息2</li>
        <li>不需要的信息3</li>
    </ul>
    <div id="url">
        <a href="http://www.jikexueyuan.com/">极客学院</a>
        <a href="http://www.jikexueyuan.com/course/?pageNum=1" title="极客学院课程库">点我打开课程库</a>
    </div>
</div>

</body>
</html>
'''

selector = etree.HTML(html)

# #提取文本
# content = selector.xpath('//ul[@id="useful"]/li/text()')
# # content = selector.xpath('//div[@id="content"]/ul[@id="useful"]/li/text()')
# # content = selector.xpath('//div/ul[@id="useful"]/li/text()')
# for each in content:
#     print each

# # #提取属性
# # link = selector.xpath('//a/@href')
# # # link = selector.xpath('//div[@id="url"]/a/@href')
# # for each in link:
# #     print each
# #
# title = selector.xpath('//a/@title')
# print title[0]
XPath与多线程爬虫

猜你喜欢
