发送get请求(requests_html)

发送get请求
from requests_html import HTMLSession
session = HTMLSession()

发出GET请求:

resposse = session.get(‘http://news.qq.com/’)
2.2 按原样获取页面上所有链接的列表(不包括锚点):
#按原样获取页面上所有链接的列表(不包括锚点):
print(r.html.links)

#输出内容:{‘http://www.mohrss.gov.cn/’, ‘http://www.dahe.cn/’, …}
2.3 以绝对形式抓取页面上所有链接的列表(锚点除外):

以绝对形式抓取页面上所有链接的列表(锚点除外):

print(r.html.absolute_links)

#输出内容:{‘http://new.qq.com/omn/20180630A0L1ED.html’, ‘http://news.qq.com/a/20180624/001511.htm’, ‘http://new.qq.com/omn/20180630A12MEU.html’, …}
2.4使用CSS选择器选择一个元素:

使用CSS选择器选择第一个元素:

title = r.html.find(’.f14>a’, first=True).text
print(title)

输出内容:重磅!2018年版自贸试验区外资准入负面清单出炉

#注意:first=True的意思是获取第一个元素,如果不加上就是获取所有的符合的元素
2.5 attrs 获取元素的所有属性:

attrs 获取元素的所有属性:

title = r.html.find(’.f14>a’, first=True)
print(title.attrs)

输出内容:{‘target’: ‘_blank’, ‘class’: (‘linkto’,), ‘href’: ‘http://new.qq.com/omn/FIN2018063001805300’}

2.6 获取元素的html:

获取元素的html:

title = r.html.find(’.f14>a’, first=True)
print(title.html)

输出内容:重磅!2018年版自贸试验区外资准入负面清单出炉

2.7 搜索元素内的链接:

搜索元素内的链接:

title = r.html.find(’.f14>a’, first=True)
print(title.absolute_links)

输出内容:{‘http://new.qq.com/omn/FIN2018063001805300’}

2.8 在页面上搜索文字:

在页面上搜索文字:

title = r.html.search(‘重磅!{}年版自贸试验区外资准入负面清单出炉’)[0]
print(title)

输出内容:2018

2.9 XPath路径定位元素

XPath路径定位元素

title = r.html.xpath(’//div[@class=“text”]/em/a/text()’)[0]
print(title)

输出内容:重磅!2018年版自贸试验区外资准入负面清单出炉

2.10 解析本地文件
from requests_html import HTML

doc = “”""""

html = HTML(html=doc)
print(html.links)

输出内容:{‘http://news.qq.com/’}

3.实例:

实例:获取腾讯新闻的标题和链接

from requests_html import HTMLSession
session = HTMLSession()

r = session.get(“http://news.qq.com/”)

通过CSS找到新闻标签

news = r.html.find(’.f14>a’)
for new in news:
print(new.text) # 新闻标题
print(new.absolute_links) # 新闻连接

发布了11 篇原创文章 · 获赞 0 · 访问量 343

猜你喜欢

转载自blog.csdn.net/qq_37316433/article/details/104462070