Notas sobre o estudo de rastreadores da Web (2) - exemplos

Exemplo um, rastrear diretamente sem modificar a cabeça

import requests
url = "https://item.jd.com/47767508311.html"
try:
	r = 
	requests.get(url)
	r.raise_for_status()
	r.encoding = r.apparent_encoding
	print(r.text[:1000])
except:
	print("爬取失败")

Exemplo dois, alguns sites podem detectar o cabeçalho 'User-Agent': 'python-orders / 2.11.1' e reconhecer que a solicitação de acesso atual é um rastreador, portanto, o cabeçalho precisa ser modificado

import requests
url = "https://www.amazon.cn/dp/B07PJGB6DC?ref_=Oct_DLandingS_D_cc22c87e_61&smid=A26HDXW89ZT98L"
try:
	kv = {'user-agent':'Mozilla/5.0'}
	r = requests.get(url,headers = kv)
	r.raise_for_status()
	r.encoding = r.apparent_encoding
	print(r.text[:1000])
except:
	print("爬取失败")

Exemplo três: interface de envio de palavras-chave do mecanismo de pesquisa

Interface de palavras-chave do Baidu: http://www.baidu.com/s?wd=keyword
interface de palavras-chave do 360: http://www.so.com/s?q=keyword

Baidu

import requests
keyword = "Python"
try:
	kv = {'wd':keyword}
	r = requests.get("http://www.baidu.com/s",params=kv)
	print(r.request.url)
	r.raise_for_status()
	print(len(r.text))
except:
	print("爬取失败")

Código completo de pesquisa 360

import requests
keyword = "Python"
try:
	kv = {'q':keyword}
	r =requests.get("http://www.so.com/s",params=kv)
	print(r.request.url)
	r.raise_for_status()
	print(len(r.text))
except:
	print("爬取失败")

Exemplo 4: rastreamento de imagem

import requests
import os
url = "https://bkimg.cdn.bcebos.com/pic/4a36acaf2edda3ccbd7b3d6406e93901203f92d3?x-bce-process=image/crop,x_0,y_0,w_1328,h_904/watermark,g_7,image_d2F0ZXIvYmFpa2UxODA=,xp_5,yp_5"
root = "/Users/mac/Downloads//"
path = root + url.split('/')[-1] + ".jpg" # + ".jpg" 使得保存下的文件以jpg格式存储
try:
	if not os.path.exists(root):
		os.mkdir(root)
	if not os.path.exists(path):
		r = requests.get(url)
		with open(path,'wb') as f:
			f.write(r.content)
			f.close()
			print("文件保存成功")
	else:
		print("文件已存在")
except:
	print("爬取失败")

url é o endereço da imagem, onde está a raiz a ser armazenada na máquina

Exemplo 5: código completo para consulta de endereço IP

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
	r = requests.get(url+'202.204.80.112')
	r.raise_for_status()
	r.encoding = r.apparent_encoding
	print(r.text[-500:])
except:
	print("爬取失败")

Isso não saiu, não sei onde está o problema ""