python网页爬虫

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_40722661/article/details/88022626

网页Dev

网络爬虫主要看在网页的检查元素的这两个页面（Element、Network）
Element ：index页面的源代码（并且能进行快速的查找）
Network：查找客户端和服务端之间的各种流

python Code

python里面含有多种框架使得对网页内容进行爬取简单而有效。

requests

import requests
response = requests.get("http://www.baidu.com")#return response (object)
print(response.status_code)  # 打印状态码
print(response.url)          # 打印请求url



print(response.headers)      # 打印头信息
print(response.cookies)      # 打印cookie信息
print(response.text)  #以文本形式打印网页源码
print(response.content) #以字节流形式打印

一般来说我们会自己加入header(有时候也会有参数)

import requests
#url
url = "http://www.baidu.com"
#Custom Headers
headers = {
	"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"
}
#Passing Paramters in URLs
payload = {'key1': 'value1', 'key2': 'value2'}

page = requests.get(url=url, headers = headers, param = payload)

#使用BeautifulSoup来对文档进行解析

from bs4 import BeautifulSoup	

soup = BeautifulSoup(page.content, 'html.parser')
list = soup.find_all("div", class_="col-xs-6") # return a list