scrapy-Redisのアセンブリの構成例

DUPEFILTER_CLASS =# "scrapy_redis.dupefilter.RFPDupeFilter" #
scrapy_redis.schedulerから#インポートスケジューラ#インポートscrapy_redis.queue優先度つきキューから#SCHEDULER = "scrapy_redis.scheduler.Scheduler" #SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue' #デフォルトプライオリティキュー(デフォルト)その他:優先度つきキュー(順序集合)、FifoQueue(リスト)、LifoQueue(リスト)#SCHEDULER_QUEUE_KEY = '%(スパイダー)S:リクエスト' #スケジューラの要求がキーのRedisに保存されている#= SCHEDULER_SERIALIZER "scrapy_redis.picklecompat"#データはピクルス使用して、デフォルトのシーケンスに保存されたRedisの元スケジューラ閉店時間と再録音、真=保持、偽=空に保持するかどうか= Trueの##のSCHEDULER_PERSISTを試みる前に#1 SCHEDULER_FLUSH_ON_START = Falseの#を空のスケジューラと再記録には、真=が空に、偽=空になっていない、それが空の場合、#1 SCHEDULER_IDLE_BEFORE_CLOSE = 10#スケジューラは、データを取得するために、最大待機時間(データがない最後、取得していません)。










#SCHEDULER_DUPEFILTER_KEY = '%(クモ) S:dupefilter' #の重複除外ルール、キーに格納された時間にRedisの対応
#SCHEDULER_DUPEFILTER_CLASSは=クラスに対応する'scrapy_redis.dupefilter.RFPDupeFilter' #重複排除処理ルール



#= REDIS_HOST ' 10.211.55.13 '#ホスト名
#REDIS_PORT = 6379#ポート
## REDIS_URL ='のRedis://ユーザー:ホスト名@パス:9001「#1 (上記の設定に優先して)接続URL
#= {#}#はRedisのデフォルトの接続パラメータをREDIS_PARAMS := {REDIS_PARAMS 'SOCKET_TIMEOUT':30 'socket_connect_timeout':30 'retry_on_timeout':真、 'コード':REDIS_ENCODING、})
## REDIS_PARAMS [ 'redis_cls'] = 'myproject.RedisClient' #、Pythonの接続Redisの指定デフォルトモジュール:redis.StrictRedis
#REDIS_ENCODING = "UTF-8" #デフォルトエンコーディングのRedisを入力: 'UTF-8'

----------------
免責事項:この記事はCSDNブロガー「TENDCODEの元記事である、CC 4.0 BY-SAの著作権契約書に従ってください、複製、元のソースのリンクと、この文を添付してください。 。
オリジナルリンクします。https://blog.csdn.net/Doom_William/article/details/80813037

おすすめ

転載: www.cnblogs.com/jessicor/p/12124839.html