Scrapy-Redisのアセンブリの重複除外

まず、インストール

PIP3は、-i https://pypi.douban.com/simple scrapy-Redisのインストール

第二に、コンフィギュレーション・ファイル

scrapy重複除外

DUPEFILTER_KEY = ' dupefilter：％（タイムスタンプ）S ' 
DUPEFILTER_CLASS = ' scrapy_redis.dupefilter.RFPDupeFilter '

scrapy接続Redisの

= REDIS_HOST ' IP '                             
REDIS_PORT = ポート番号                                    
REDIS_PARAMS   = { ' パスワード'：' パスワード' }                                  
REDIS_ENCODING = " UTF-8 " 
または                             
＃1 （上記の設定に優先して）REDIS_URL = 'ポートのRedis：//ユーザー：パスワード@ip'を

第三に、カスタムクラス

継承を通じてRFPDupeFilterとfrom_settingsメソッドをオーバーライドし、デフォルトのキーを設定します

クラスRedisDupeFilter（RFPDupeFilter）：
    @classmethod 
    DEF from_settings（CLS、設定）：
        サーバー = get_redis_from_settings（設定）
        キー = defaults.DUPEFILTER_KEY％{ ' タイムスタンプ'：' 固定的鍵'' } 
        デバッグ= settings.getbool（' DUPEFILTER_DEBUG ' ）
         リターン CLS（サーバー、キー=キー、デバッグ=デバッグ）

DUPEFILTER_CLASSのパスを変更するには設定ファイル