アナログブラウザログイン
start_requests（）メソッドは、要求代替start_urlsで要求を返します）、これはstart_urlsのリターンと同等であった、サイトのクローラーを開始するstart_requestsを（要求を返すことができます
リクエスト（）要求を取得する設定することができ、URL、クッキー、コールバック関数
FormRequest.from_response（）フォームポストを提出し、あなたが最初のパラメータなければならない、などのレスポンスオブジェクト、他のパラメータ、クッキー、URL、フォームの内容に応じて、最後のクッキー
降伏要求は（）の実行爬虫類に新しい要求を返すことができます
要求、送信時クッキー操作は、
メタ= {「をCookieJarを」}クッキーの記録に示す内の要求内の最初の書き込み要求（1）、。
メタ= {「をCookieJar」response.meta [「をCookieJar」]} の使用を表すがポスト認可クッキーの応答、FormRequest.from_response（書き込み）
= {「をCookieJar」：真のメタは } ライセンスにアクセスするためにクッキーを表し、ページを表示するにはログインする必要があります
Scrapyフレームワークのクッキーを取得します。
请求クッキー
クッキー= response.request.headers.getlist（ 'クッキー'）
プリント（クッキー）
响应クッキー
= response.headers.getlist Cookie2（ 'のSet-Cookie'）
プリント（Cookie2）
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request,FormRequest
class PachSpider(scrapy.Spider): #定义爬虫类，必须继承scrapy.Spider
name = 'pach' #设置爬虫名称
allowed_domains = ['edu.iqianyue.com'] #爬取域名
# start_urls = ['http://edu.iqianyue.com/index_user_login.html'] #爬取网址,只适于不需要登录的请求，因为没法设置cookie等信息
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'} #设置浏览器用户代理
def start_requests(self): #用start_requests()方法,代替start_urls
"""第一次请求一下登录页面，设置开启cookie使其得到cookie，设置回调函数"""
return [Request('http://edu.iqianyue.com/index_user_login.html',meta={'cookiejar':1},callback=self.parse)]
def parse(self, response): #parse回调函数
data = { #设置用户登录信息，对应抓包得到字段
'number':'adc8868',
'passwd':'279819',
'submit':''
}
# 响应Cookie
Cookie1 = response.headers.getlist('Set-Cookie') #查看一下响应Cookie，也就是第一次访问注册页面时后台写入浏览器的Cookie
print(Cookie1)
print('登录中')
"""第二次用表单post请求，携带Cookie、浏览器代理、用户登录信息，进行登录给Cookie授权"""
return [FormRequest.from_response(response,
url='http://edu.iqianyue.com/index_user_login', #真实post地址
meta={'cookiejar':response.meta['cookiejar']},
headers=self.header,
formdata=data,
callback=self.next,
)]
def next(self,response):
a = response.body.decode("utf-8") #登录后可以查看一下登录响应信息
# print(a)
"""登录后请求需要登录才能查看的页面，如个人中心，携带授权后的Cookie请求"""
yield Request('http://edu.iqianyue.com/index_user_index.html',meta={'cookiejar':True},callback=self.next2)
def next2(self,response):
# 请求Cookie
Cookie2 = response.request.headers.getlist('Cookie')
print(Cookie2)
body = response.body # 获取网页内容字节类型
unicode_body = response.body_as_unicode() # 获取网站内容字符串类型
a = response.xpath('/html/head/title/text()').extract() #得到个人中心页面
print(a)2をログに記録するアナログブラウザ
最初のステップ、
ユーザーがログオンし、一般的に最初の訪問の爬虫類、ログインページに初めてアクセスすると、自動的にブラウザに書き込まれた背景クッキーなので、私たちの最初の主要な買収は、応答クッキーです
まず、そのようなページが独立したjsのポップではない場合、我々は爬虫類のホームページから開始することができ、ログインページが別のページであれば、最初の時間のためのGoogleのクローラは、ログインページから開始する必要がありますログインページをWebサイトのログインページにアクセスしてください
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request,FormRequest
import re
class PachSpider(scrapy.Spider): #定义爬虫类，必须继承scrapy.Spider
name = 'pach' #设置爬虫名称
allowed_domains = ['dig.chouti.com'] #爬取域名
# start_urls = [''] #爬取网址,只适于不需要登录的请求，因为没法设置cookie等信息
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'} #设置浏览器用户代理
def start_requests(self):
"""第一次请求一下登录页面，设置开启cookie使其得到cookie，设置回调函数"""
return [Request('http://dig.chouti.com/',meta={'cookiejar':1},callback=self.parse)]
def parse(self, response):
# 响应Cookies
Cookie1 = response.headers.getlist('Set-Cookie') #查看一下响应Cookie，也就是第一次访问注册页面时后台写入浏览器的Cookie
print('后台首次写入的响应Cookies：',Cookie1)
data = { # 设置用户登录信息，对应抓包得到字段
'phone': '8615284816568',
'password': '279819',
'oneMonth': '1'
}
print('登录中....!')
"""第二次用表单post请求，携带Cookie、浏览器代理、用户登录信息，进行登录给Cookie授权"""
return [FormRequest.from_response(response,
url='http://dig.chouti.com/login', #真实post地址
meta={'cookiejar':response.meta['cookiejar']},
headers=self.header,
formdata=data,
callback=self.next,
)]
def next(self,response):
# 请求Cookie
Cookie2 = response.request.headers.getlist('Cookie')
print('登录时携带请求的Cookies：',Cookie2)
jieg = response.body.decode("utf-8") #登录后可以查看一下登录响应信息
print('登录响应结果：',jieg)
print('正在请需要登录才可以访问的页面....!')
"""登录后请求需要登录才能查看的页面，如个人中心，携带授权后的Cookie请求"""
yield Request('http://dig.chouti.com/user/link/saved/1',meta={'cookiejar':True},callback=self.next2)
def next2(self,response):
# 请求Cookie
Cookie3 = response.request.headers.getlist('Cookie')
print('查看需要登录才可以访问的页面携带Cookies：',Cookie3)
leir = response.xpath('//div[@class="tu"]/a/text()').extract() #得到个人中心页面
print('最终内容',leir)
leir2 = response.xpath('//div[@class="set-tags"]/a/text()').extract() # 得到个人中心页面
print(leir2)
在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容