데이터 저장 및 크롤로 jdango + scrapy 접합

 

1. 장고 프로젝트를 만들고 models.py를 준비하기 위해, 장고 프로젝트를 시작

 

장고가 포함 된 구성
　　프로젝트 루트 장고에서 Scrapy 프로젝트 (이것은 scrapy - djangoitem 구성 필요) 생성
　　의 settings.py Scrapy에 다음 코드를 추가, 장고가 포함 된 구성 :

수입 OS
 수입 SYS의 
sys.path.append (os.path.dirname (os.path.abspath ( ' . ' ))) 
[os.environ ' DJANGO_SETTINGS_MODULE ' = '子app.settings ' 
# 手动初始化장고 : 
수입 장고 
django.setup ()

 

3. 쓰기 파충류

 

4.item.py 도입 장고 모델 클래스

수입 scrapy 
    
에서 scrapy_djangoitem의 수입 DjangoItem
 에서子응용 프로그램 수입 모델
 클래스 TalksItem (DjangoItem) : 
    django_model . = 모델表名

 

5.pipelines.py에서) (save ()를 호출하기

클래스 TalksPipeline (객체) :
     DEF process_item (자체, 항목, 스파이더) :
         인쇄 ( ' 데이터베이스 열기 ' ) 
        item.save () #의 데이터가 자동으로 지정된 테이블에 추가됩니다 
        인쇄 ( ' 오프 데이터베이스 ' )
         반환 항목

 

6. 시작 파충류 : scrapy 크롤링 파충류 이름

 

7. 새로 고침 관리자 배경,웨어 하우징은 현재 데이터되었습니다!

 

나는 행복하지 마!