우리는 깊이있는 데이터 파충류를 계속해야 할이 시간이, 일부 페이지가 직접 데이터를 HTML 코드에 의해 요청되지 수 있습니다, 우리는이 시간 우리는 아약스를 분석하는 방법을 살펴, 데이터가 페이지 최대로 아약스를 통해 렌더링 필요
우리는이 네트워크 라이브러리를 사용하거나 요청 중 하나에, MongoDB를은 (라이브러리를 설치해야 pymongo 사전에) 개방 멀티 스레드 크롤링을 결과를 저장하는 데 사용됩니다.
분석 : 개봉 후 많은 페이지가있다, 우리는 HTML 소스 코드를 얻고 우리가 원하는 데이터를 얻을 수 없습니다, 다음 사이트를로드 할 아약스를 통해 데이터가 될 가능성이 높습니다.
우리는 디버그 모드 F12에서 설정, 네트워크를 클릭, 우리는 어디에 숨길하는 내가 원하는 데이터를 분석해야
우리는 우리가 필요로하는 데이터가 아약스 밖으로에 의해로드됩니다 볼 수 있습니다.
프로젝트 : 아약스의 분석은 미토 촬영 헤드 라인 오늘 거리를 잡아합니다
코드 주소 : https://gitee.com/dwyui/toutiao_jiepai.git
전자 영업 실적보고 :
