jdango + scrapyデータストレージと連動し、クローリング

 

1. Djangoプロジェクトを作成し、models.pyを準備するために、Djangoのプロジェクトを開始

 

埋め込みジャンゴを設定する
　　プロジェクトのルートジャンゴ下（これは必要scrapy-djangoitem構成である）Scrapyプロジェクトを作成する
　　のsettings.py Scrapyに次のコードを追加、埋め込み構成ジャンゴ。

インポートOSの
 インポートのSYS 
sys.path.append（os.path.dirname（os.path.abspath（' ' ）））
はos.environ [ ' DJANGO_SETTINGS_MODULE ' ] = '子app.settings ' ＃手动初始化ジャンゴ：インポートジャンゴ
django.setup（）

 

3.書き込み爬虫類

 

4.item.pyはDjangoのモデルクラスを導入しました

インポートscrapy 
    
から scrapy_djangoitemのインポートDjangoItem
 から子アプリインポートモデル
 クラスTalksItem（DjangoItem）：
    django_model =モデル表名

 

5.pipelines.pyで）（SAVEを呼び出します

クラスTalksPipeline（オブジェクト）：
     DEF process_item（セルフ、アイテム、スパイダー）：
         印刷（「オープンデータベース」）
        item.save（） ＃のデータが自動的に指定されたテーブルに追加されます
        印刷（「オフデータベース」）
         の戻り項目

 

6.スタート爬虫類：scrapyクロール爬虫類名

 

7. [更新管理の背景には、倉庫は、この時のデータとなっています！

 

私は幸せにしないでください！