A, 전략 포켓
1 사용자 에이전트에 의해 결정된다 파충류 아니다.
해결책 : 위장 사용자 에이전트 클라이언트 식별
(2), 방문의 주파수에 의해 판단한다.
이 솔루션은 : 요청의 빈도를 설정합니다.
time.sleep (random.randint (0,5))
도 3은 밀봉 IP는
프록시 IP 설정.
requests.get ( URL, 헤더, PARAMS, 프록시,代理字典 ) 프록시 = { ' HTTP ' : ' 에 http : // IP : 포트 ' , }
도 4에서, 페이지 콘텐츠를 직접 표현하지하지만 JS에서 동적 로딩을 얻을.
해결 방법 : 셀레늄 +는 해결하려면 phantomjs.
두, html로 기술 페이지
1 JS :
HTML 페이지의 골격은, CSS를 장식, JS는 페이지의 동작입니다.
JS는 매우 중요합니다.
2, JQuery와는 : JS 라이브러리 JS 역할은 프로그래밍을 단순화하는 것입니다.
3, AJAX : 웹 비동기 요청 기술.
비동기 요청 :
동기 요청 :
4, DHTML
세, 셀레늄 및 PhantomJS
1, 셀레늄은 무엇입니까?
셀레늄은 웹 자동화 된 테스트 도구입니다. 그러나 브라우저 기능하지 자체 않습니다. 그는 실제로 도구가 일부 드라이버의 외부 응용 프로그램으로 사용할 수있다처럼, 당신은 몇 가지 작업을 수행하는 외부 프로그램을 제어 할 수 있습니다.
2, 셀레늄 설치 :
PIP는 셀레늄 == 2.48.0 설치
phantomjs 무엇인지 3를?
phantomjs 실제로 내장 브라우저 인터페이스 브라우저없이 엔진입니다. 그는 페이지 JS 코드를 실행, 웹 브라우저처럼 페이지를로드 할 수 있습니다.
4. 왜 모든 사이트의 데이터 페이지의 문제를 해결할 수 셀레늄과 phantomjs의 조합은?
셀레늄은 파이썬 프로그램처럼 브라우저의 동등한 phantomjs. 브라우저를 제어 할 수 파이썬에서 그들의 결합 된 해당 그래서 그들이 브라우저 페이지에로드 할 수있는 페이지의 콘텐츠를 구문 분석, 우리는 데이터에이 조합을 통해 얻을 것이다.
5, 설치를 phantomjs.
거울 다운로드 속도와 phantomjs 거울을 검색 할 수 있습니다.
2.1.1-PhantomJS 이 패키지를 사용하는 방법을 windows.zip : phantomjs.exe 아래 스크립트의 아나콘다 패키지로, 내부에이 exe 파일을 발견했다.
테스트 설치 여부 : 제공되지 않는 경우, 다음 설치에 성공, 아래에 cmd 창에 phantomjs를 입력합니다.
6. 설치 시각적 브라우저 크롬 드라이브.
다운로드 및 설치 chromedriver.exe은 ---->이 드라이브는 구글 셀레늄 드라이브를 드라이브 수 있다는 것입니다. ----> 우리는 브라우저 크롬의 자신의 버전을 제어해야하는 다운로드합니다.
다운로드 : 검색 chromedriver 미러 chromedriver_win32.zip, chromedriver.exe 내부를 발견, 그는 또한 아래 스크립트 아나콘다 패키지를 손.
7, 셀레늄 사용
문서 : selenuim 일반적인 방법 .NOTE
링크 : HTTP : //note.youdao.com/noteshare ID = 0142a95cf23fadbaea95809ccb5674b2 및 하위 = 02896A50836E4995997A821419D9A063?