分析依頼scrapy

自動送信要求scrapy

　　送信を要求することにより、保存され始めたURL start_urlsリストは手動で実装されていませんが、クローラファイル爬虫類はスパイダー親クラスstart_requestsに継承されたため、解析機能に、またはそれは、（自己応答データを取得し、 start_urlsリストURLの要求を開始することができます）この方法であって、

1  DEF start_requests（自己）：
 2          のための U でself.start_urls：
 3             収率 scrapy.Request（URL = U、コールバック= self.parse）

【注意】メソッドのデフォルトの実装では、URLの先頭には、あなたがポスト要求を開始したい場合は、このメソッドをオーバーライドするサブクラスする必要があり、要求を開始しますです。

1  DEF start_requests（自己）：
 2          位URLを要請
。3          POST_URL = ' http://fanyi.baidu.com/sug ' 
。4つの         ＃のPOSTリクエストのパラメータ
5。          いるFormData = {
 6              ' キロワット'：' ウルフ' 、
 7          }
 。8          ＃POST要求を送信する
。9          収率 scrapy.FormRequest（URL = POST_URL、いるFormData =いるFormData、コールバック= self.parse）

URLを手動で取得する必要のコンテンツに対する要求を開始します　　

1  ＃手動要求、指定されたURLを取得開始、コールバックは、コールバック関数分析（カスタマイズ）を指定し、メタは分析関数（request.item）を使用してコールバック要求にカプセル化されたパラメータを渡すことができる
2  収率、scrapy.Request（URL = URLを= self.parse1コールバック、メタ= {}）
 3。  ＃手動POSTリクエスト開始：FORMDATAリクエストパラメータを、コールバックがコールバック分析関数（カスタマイズ）を指定し、メタ要求にカプセル化されたパラメータを渡すことができる
4。 収率 scrapy.FormRequest（URL = URL、FORMDATA = FORMDATA、コールバック = self.parse2、メタ= {}）

 

要求では、Cookie処理のscrapyが自動的にパッケージ化されています。