コレクターの複数## colly 8

複数のコレクタを使用します

タスクが複雑なまたは十分なサブタスクの異なるタイプである場合、仕事をつかむために、複数のコレクターを使用することをお勧めします。コーセラコーススクレーパーは、リストビューと分析処理の詳細ページ、コースの別のコレクション-それは2つのコレクタを使用して、良い例です。

注意:コレクタを使用。デバッグ中に別のコレクターを区別するためのID

 

クローニングコレクター

コレクタは同様の構成を有している場合、コレクタclone()メソッドを使用してもよいです。同じ構成を有するが、追加のコールバックコレクタずにコピーするクローン()。

C:= colly.NewCollector(
	colly.UserAgent( "myUserAgent")、
	colly.AllowedDomains( "foo.com"、 "bar.com")、 
//カスタムのUser-Agentと許可されているドメインは、C2のにクローン化される
C2:= c.Clone()

  

コレクタ間のカスタムデータ転送

リクエスト()関数を使用して、コレクタは他のコレクターコンテキストと共有することができます。

共有コンテキストの例:

c.OnResponse(FUNC(R * colly.Response){ 
	r.Ctx.Put(r.Headers.Get( "カスタムヘッダ"))
	c2.Request( "GET"、 "https://foo.com/" 、ゼロ、r.Ctx、NIL)
})

  

おすすめ

転載: www.cnblogs.com/liujie-php/p/11571117.html
おすすめ