ディレクトリ
第二に、アプリケーションの、ケース：トップ20にランクプログラミング言語のクロールTIOBEインデックス
lxmlのは、HTMLやXML構文解析をサポートしてのpythonの構文解析ライブラリは、XPathの分析方法をサポートしている、と分析効率が非常に高く、
XPathは、すなわちXMLパス言語の完全な名前XMLパス言語は、それはもともとXML文書を検索するために使用したXMLドキュメントの言語、で見つけた情報ですが、それはまた、HTML文書を検索するために適用されます
XPathの選択はまた、ほぼ、文字列、数値、およびマッチング・ノード、シーケンス処理時間のために100以上の組み込み関数を提供し、それは非常に簡潔な表現の経路選択を提供し、非常に強力です私たちがターゲットにしたいすべてのノードは、あなたが選択するために、XPathを使用することができます
：1999年11月16日のXPathはW3C標準になった、それはXSLT、XPointerのと他のXML解析ソフトウェアで使用するために設計され、より多くのドキュメントは、公式ウェブサイト訪問することができhttps://www.w3.org/TR/xpathを/
、XPathの共通のルール
| 表現 | 説明 |
| ノード名 | このノードのすべての子ノードを選択します |
| / | 現在のノードから選択された直接の子ノード |
| // | 選択したノードから現在のノードの子孫 |
| 。 | 現在のノードを選択します |
| 。.. | 現在のノードの親を選択します |
| @ | [プロパティ]を選択します |
| * | ワイルドカードは、すべての要素ノードおよび要素名を選択 |
| @ * | すべてのプロパティを選択します |
| [@attrib] | 指定された属性を持つすべての要素を選択します |
| [ATTRIB = '値' @] | 与えられた特定の属性値を持つすべての要素を選択します |
| [鬼ごっこ] | 指定された要素のすべての直接の子ノードを選択します |
| [タグ= 'テキスト'] | 指定されたテキストとテキストコンテンツノードを持つすべての要素を選択します |
1、テキスト解析ノードを読み出し
# -*- coding: utf-8 -*-
from lxml import etree
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0"><a href="link5.html">a属性</a>
</ul>
</div>
'''
html=etree.HTML(text) #初始化生成一个XPath解析对象
result=etree.tostring(html,encoding='utf-8') #解析对象输出代码
print(type(html))
print(type(result))
print(result.decode('utf-8'))
#etree会修复HTML文本节点
# <class 'lxml.etree._Element'>
# # <class 'bytes'>
# # <html><body><div>
# # <ul>
# # <li class="item-0"><a href="link1.html">第一个</a></li>
# # <li class="item-1"><a href="link2.html">second item</a></li>
# # <li class="item-0"><a href="link5.html">a属性</a>
# # </li></ul>
# # </div>
# # </body></html>
2、HTMLファイルが解析される読み込み
test.htmlというファイル
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html>
<body>
<div>
<ul>
<li class="item-0">
<a href="link1.html">first item</a>
</li>
<li class="item-1">
<a href="link2.html">second item</a></li>
<li class="item-inactive">
<a href="link3.html">third item</a>
</li>
<li class="item-1">
<a href="link4.html">fourth item</a>
</li>
<li class="item-0">
<a href="link5.html">fifth item</a>
</li></ul> \n </div>
</body>
</html>from lxml import etree
# 指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
etree.HTMLParser())
result=etree.tostring(html) #解析成字节
# result=etree.tostringlist(html) #解析成列表
print(type(html))
print(type(result))
print(result)3.すべてのノードを取得します。
これは、すべてのノードが含まれている、各要素型の要素のリストを返します
from lxml import etree
# 指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
etree.HTMLParser())
result=html.xpath('//*') #//代表获取子孙节点，*代表获取所有
print(type(html))
print(type(result))
print(result)李ノードを取得するには、//続くノード名で、その後、XPathを呼び出す（）メソッドを使用することができます
html.xpath('//li') #获取所有子孙节点的li节点4.取得の子ノード
/ことにより、または、//要素ノードの子孫や子供を見つける、あなたが直接、ノードをすべてのliノードを選択したい場合は、あなたがこれを使用することができます
from lxml import etree
# 指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
etree.HTMLParser())
# 通过追加/a选择所有li节点的所有直接a节点，
# 因为//li用于选中所有li节点，/a用于选中li节点的所有直接子节点a
result=html.xpath('//li/a')
print(type(html))
print(type(result))
print(result)5、親ノードを取得します
私たちは、あなたがノードまたは子孫連続/または//で子ノードを見つけることができることを知って、あなたは親ノードが..あなたが親ノードの親を取得するために使用することができます使用して実装することができますしたい::
from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//a[@href="link2.html"]/../@class')
result1=html.xpath('//a[@href="link2.html"]/parent::*/@class')
print(result)
print(result1)6、マッチング特性
選択されたとき、我々はまた、使用することができ@、フィルタのシンボル属性。あなたはこれを選択したい場合たとえば、classあるノード、達成することができます。item-1li
from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]')
print(result)7、テキスト取得
我々は、テキスト（）メソッドでXPathを使用してテキストノードを取得します
from lxml import etree
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]/a/text()') #获取a节点下的内容
result1=html.xpath('//li[@class="item-1"]//text()') #获取li下所有子孙节点的内容
print(result)
print(result1)8、物件取得
次のように@記号は、ノードの属性を取得するために使用されています。すべてのノードを取得し、href属性と、すべてのノード李
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li/a/@href') #获取a的href属性
result1=html.xpath('//li//@href') #获取所有li子孙节点的href属性
print(result)
print(result1)9、マルチ属性の値が一致
）我々は（含まれている使用できるよりも多くのプロパティの値を取得するように機能している場合
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa item-0"><a href="link1.html">第一个</a></li>
<li class="bbb item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')
print(result)
print(result1)#通过第一种方法没有取到值，通过contains（）就能精确匹配到节点了
[]
['第一个']10、マルチ属性マッチング
我々はまた、される事態が発生する可能性があり、ノードの複数の属性に応じて決定し、その後、接続にオペレータを使用して、この時点で複数の属性、および利用可能と一致する必要があります。
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa" name="item"><a href="link1.html">第一个</a></li>
<li class="aaa" name="fore"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa" and @name="fore"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa") and @name="fore"]/a/text()')
print(result)
print(result1)11、オペレータのXPathの
| 演算子 | 説明 | 例 | 返却値 |
| または |
若しくは | 年齢= 19、年齢= 20 | 年齢はとにかく偽、真の20の19リターンに等しいか等しい場合 |
| そして | と | 年齢> 19と年齢<21 | 年齢はtrue、そうでない場合はfalseを返す20に等しい場合 |
| モッド | 余り | 5 MOD 2 | 1 |
| | | ノードの二組を取ります | //ブック| // CD | 戻るすべてのノードには、書籍やCDコレクション要素を持っています |
| + | プラス | 6 + 4 | 10 |
| - | マイナス | 6-4 | 2 |
| * | 乗算 | 6 * 4 | 24 |
| DIV | 除算 | 8 DIV 4 | 2 |
| = | 等しいです | 年齢= 19 | 真 |
| ！= | 等しくありません | 年齢！= 19 | 真 |
| < | 以下 | 年齢<19 | 真 |
| <= | より小さいか等しいです | 年齢<= 19 | 真 |
| > | より大きい | 年齢> 19 | 真 |
| > = | 以上 | 年齢> = 19 | 真 |
12、順次選択
時々、私たちは、あなたが紹介を受けるには、括弧の方法でインデックスを使用することができ、特定の属性は、同時に複数のノードに一致するかもしれないが、我々は唯一のこのような第二のノードまたは最後のノードとしてこれらのノードの1つを、したい選択したとき特定の順序をノード：
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa" name="item"><a href="link1.html">第一个</a></li>
<li class="aaa" name="item"><a href="link1.html">第二个</a></li>
<li class="aaa" name="item"><a href="link1.html">第三个</a></li>
<li class="aaa" name="item"><a href="link1.html">第四个</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[contains(@class,"aaa")]/a/text()') #获取所有li节点下a节点的内容
result1=html.xpath('//li[1][contains(@class,"aaa")]/a/text()') #获取第一个
result2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()') #获取最后一个
result3=html.xpath('//li[position()>2 and position()<4][contains(@class,"aaa")]/a/text()') #获取第一个
result4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()') #获取倒数第三个
print(result)
print(result1)
print(result2)
print(result3)
print(result4)：本明細書で使用する場合、配列のようなアクセス処理機能、数値、文字列、論理ノード、などのXPathの最後の（）、位置（）関数、関数100の複数のは、それらの特定の役割を参照してHTTP： //www.w3school.com.cn/xpath/xpath_functions.asp
図13に示すように、軸選択ノード
XPathは、例えば、等得るサブエレメント、兄弟、親要素、祖先の要素を含む、多くのノード選択方法を提供します。
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa" name="item"><a href="link1.html">第一个</a></li>
<li class="aaa" name="item"><a href="link1.html">第二个</a></li>
<li class="aaa" name="item"><a href="link1.html">第三个</a></li>
<li class="aaa" name="item"><a href="link1.html">第四个</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[1]/ancestor::*') #获取所有祖先节点
result1=html.xpath('//li[1]/ancestor::div') #获取div祖先节点
result2=html.xpath('//li[1]/attribute::*') #获取所有属性值
result3=html.xpath('//li[1]/child::*') #获取所有直接子节点
result4=html.xpath('//li[1]/descendant::a') #获取所有子孙节点的a节点
result5=html.xpath('//li[1]/following::*') #获取当前子节之后的所有节点
result6=html.xpath('//li[1]/following-sibling::*') #获取当前节点的所有同级节点
print(result)
print(result1)
print(result2)
print(result3)
print(result4)第二に、アプリケーションの、ケース：トップ20にランクプログラミング言語のクロールTIOBEインデックス
# -*- coding: utf-8 -*-
import requests
from requests.exceptions import RequestException
from lxml import etree
from lxml.etree import ParseError
import json
def one_to_page(html):
headers = { 'user-agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/67.0.3396.62 Safari/537.36'}
print("headers = ", headers)
try:
response = requests.get(html, headers = headers)
body = response.text #获取网页内容
except RequestException as e:
print("request is error!", e)
try:
# 解析HTML文本内容
html = etree.HTML(body, etree.HTMLParser())
# 获取列表数据
result=html.xpath('//table[contains(@class,"table-top20")]/tbody/tr//text()')
pos = 0
for i in range(20):
if i == 0:
yield result[i:5]
else:
yield result[pos:pos+5]
pos += 5
except ParseError as e :
print(e.position)
# 将数据重新组合成字典写入文件并输出
def write_file(data):
for i in data:
sul = {
'2018年6月排行': i[0],
'2017年6排行': i[1],
'开发语言': i[2],
'评级': i[3],
'变化率': i[4]
}
with open(r"E:\PythonProjects\python_study\python_requests\data.txt",
'a',encoding="utf-8") as f:
f.write(json.dumps(sul, ensure_ascii=False)+'\n')
f.close()
print(sul)
return None
def main():
url = 'https://www.tiobe.com/tiobe-index/'
data = one_to_page(url)
revalue = write_file(data)
if revalue == None:
print('ok!!!')
if __name__ == '__main__':
main()
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
{'2018年6月排行': '1', '2017年6排行': '1', '开发语言': 'Java', '评级': '16.884%', '变化率': '-0.92%'}
{'2018年6月排行': '2', '2017年6排行': '2', '开发语言': 'C', '评级': '16.180%', '变化率': '+0.80%'}
{'2018年6月排行': '3', '2017年6排行': '4', '开发语言': 'Python', '评级': '9.089%', '变化率': '+1.93%'}
{'2018年6月排行': '4', '2017年6排行': '3', '开发语言': 'C++', '评级': '6.229%', '变化率': '-1.36%'}
{'2018年6月排行': '5', '2017年6排行': '6', '开发语言': 'C#', '评级': '3.860%', '变化率': '+0.37%'}
{'2018年6月排行': '6', '2017年6排行': '5', '开发语言': 'Visual Basic .NET', '评级': '3.745%', '变化率': '-2.14%'}
{'2018年6月排行': '7', '2017年6排行': '8', '开发语言': 'JavaScript', '评级': '2.076%', '变化率': '-0.20%'}
{'2018年6月排行': '8', '2017年6排行': '9', '开发语言': 'SQL', '评级': '1.935%', '变化率': '-0.10%'}
{'2018年6月排行': '9', '2017年6排行': '7', '开发语言': 'PHP', '评级': '1.909%', '变化率': '-0.89%'}
{'2018年6月排行': '10', '2017年6排行': '15', '开发语言': 'Objective-C', '评级': '1.501%', '变化率': '+0.30%'}
{'2018年6月排行': '11', '2017年6排行': '28', '开发语言': 'Groovy', '评级': '1.394%', '变化率': '+0.96%'}
{'2018年6月排行': '12', '2017年6排行': '10', '开发语言': 'Swift', '评级': '1.362%', '变化率': '-0.14%'}
{'2018年6月排行': '13', '2017年6排行': '18', '开发语言': 'Ruby', '评级': '1.318%', '变化率': '+0.21%'}
{'2018年6月排行': '14', '2017年6排行': '13', '开发语言': 'Assembly language', '评级': '1.307%', '变化率': '+0.06%'}
{'2018年6月排行': '15', '2017年6排行': '14', '开发语言': 'R', '评级': '1.261%', '变化率': '+0.05%'}
{'2018年6月排行': '16', '2017年6排行': '20', '开发语言': 'Visual Basic', '评级': '1.234%', '变化率': '+0.58%'}
{'2018年6月排行': '17', '2017年6排行': '12', '开发语言': 'Go', '评级': '1.100%', '变化率': '-0.15%'}
{'2018年6月排行': '18', '2017年6排行': '17', '开发语言': 'Delphi/Object Pascal', '评级': '1.046%', '变化率': '-0.11%'}
{'2018年6月排行': '19', '2017年6排行': '16', '开发语言': 'Perl', '评级': '1.023%', '变化率': '-0.14%'}
{'2018年6月排行': '20', '2017年6排行': '11', '开发语言': 'MATLAB', '评级': '0.924%', '变化率': '-0.39%'}
ok!!!