기반 스파크 방지 크롤러 기술과 카프카 [다음날]

3. 시스템 구조

3.1 기술 선택

기술 선택 구성 요소 이름 버전 번호 기술
프리젠 테이션 계층 프레임 워크 SpringMVC (중추) 4.0.7 고효율 및 안정, 서블릿, JSP 기술의 사용 및 도움말 개발자 컨트롤 변경 웹 프로젝트에 MVC 구현하고 전문적인 수준을 향상은 MVC 디자인 패턴 웹 애플리케이션 개발 시간의 사용에 개발자 감소
논리 계층 제어 프레임 워크 봄 (중추) 4.0.7 트랜잭션 관리, 로직 제어를 제공. 프레임 워크의 주요 장점 중 하나는 계층화 된 아키텍처, 계층 구조는 사용자가 선택할 수 있도록 사용되는 구성 요소, J2EE 애플리케이션 개발을위한 통합 프레임 워크를 제공하면서
지속성 프레임 워크 최대 절전 모드 (레드햇) 4.2.12 프레임 워크 지속성 때문에 데이터베이스를 조작하기 위해 객체 JAVA 프로그래밍 사고를 사용하여 프로그래머가 임의적 일 수있는 아주 가벼운 JDBC를 개체 패키지의했다.

도 4에 주로 사용 보여줍니다

4.1 데이터 관리

4.2 실시간 모니터링

4.3 데이터 시각화

4.4 정책 관리

4.5 프로세스 관리

4.6 규칙 관리

5. 안티 등반 규칙

5.1 데이터 소스

여행 관련
출발지, 도착지, 출발 시간, 소정의 시간
여행 관련 사람의
신원 정보 (문서 유형에 기회를했다 이름 기회, 사람의 유형에 걸릴 활용, 문서 번호 기회 명), 여행의 수를
소정 상관
티켓의 개인 정보 (로그인 ID, 로그인 IP, 브라우저 UA, 휴대 전화 장치 정보) 운영, 입력 한
연락처 정보 (연락처 이름, 연락처 전화 번호, 연락처 사서함)
추가 정보 (판매 단위)
키 필드 안티 상승 항공편
bookuser 티켓 구매자 ID를 로그인 ID 이러한 진주 회원 번호, 전화 번호 및 기타 비회원으로
bookip 구매자의 IP
psgname 이름 (사용자 민감한 정보) 할 수있는 기회를했다
, 유아 psgtype 사람들은 성인, 어린이 등을 입력 할 수있는 기회를했다
등의 신분증, 여권 등 다른 같은 유형의 문서, idtype
할 수있는 기회를했다 idcard을 식별 번호 (사용자가 민감한 정보)
ContractName의 연락처 이름 (사용자 민감한 정보)
contractphone 연락 전화 번호 (사용자가 민감한 정보)
bookagent 판매 단위
depcity / depairport 기원
arrcity / arrairport 대상
flightdate / deptime 출발 시간
오두막 클래스 수준

5.2 안티 상승 규칙

를 눌러 단일 요청 - 브라우저 이외의 단어는 UA를 나타
IP 주소 집합에 의해 - Y 시간보다 X 분 쿼리 내에서
X 연속 질의 시간 간격 적은 Y 초보다 -이 IP 주소를 집계하여
IP 주소 고분자에 의해 - 쿼리 임의의 X 분 Y는 시간 간격이 작은 편차보다
IP 주소 응집하여 - 모든 X 분 내에, Y의 각 분 분산 질의의 주파수보다 작은
IP 주소 응집하여 - 모든 X 분 이내에 다른 출발에서 쿼리 Y 초과

5.3 법

휴일, 회원 날짜, 인기있는 경로

5.4 사기꾼의 특징

장기, 반복 크롤링 데이터를
여러 에이전트를 사용하여 크롤링 데이터 (몇 분마다 자동으로 UA, IP 스위치)
짧은 시간 내에 각 IP 흐름 높은 발발에 대한
요청 매일 밤 IP 평형 수를
더 자주보다 더 인기있는 노선 업데이트 빠른
브라우저 경로가 완료되지 않았습니다

9.OpenResty 개요

빌드로 9.1 OpenResty 개발 환경

1, OPenResty 다운로드는
공식 (https://openresty.org/cn/) 다운로드 할 수 있습니다
노드 SLAVE1에 압축 / 옵션을 업로드 어디 다운로드 리눅스 버전 openresty-1.13.6.1.tar.gz을 / 소프트웨어
2, 리눅스 (cent6.5는) OpenResrty의 설치
참고
펄 5.6.1+, libreadline, libpcre : OpenResty 의존 라이브러리가 libssl에 있습니다. 우리는 이러한 종속성을 설치해야합니다 그래서
냠 -y의 readline-(STABLE) pcre- 설치 (STABLE)하려면 openssl-(STABLE) 펄 GCC
추출 : 첫 번째 단계
타르 -xzvf /opt/software/openresty-1.13.6.1.tar.gz -C / 옵션 / 응용 프로그램 /
단계 : 구성
[하둡 @ SLAVE1 openresty] $ 디렉토리를 입력하고 명령에 구성 입력
./configure를 --prefix = / 옵션 / 응용 프로그램 / openresty --with-http_stub_status_module
설치 (컴파일) : 세 번째 단계
만들기를 설치하게 &&

아래 루아 9.2에 CentOS 설치

-C -zxvf /opt/software/lua-5.3.4.tar.gz 타르 / 옵션 / 앱 /
[@ 하둡 SLAVE1 앱] $ CD ./lua-5.3.4/
[SLAVE1 @ 하둡 루아-5.3.4] 만들기 리눅스 테스트 $
[하둡 @ SLAVE1 - 루아 5.3.4] $ 만들기 설치
: 설치의 성공 여부를 테스트
[하둡 @ SLAVE1 - 루아 5.3.4] -v $ 루아
루아 5.3.4 저작권 © 1994-2017 Lua.org, PUC -Rio

출시 두 원저 · 원의 칭찬 0 · 조회수 123

추천

출처blog.csdn.net/weixin_45617201/article/details/104504770