소개
웹사이트의 요청 로그를 주의 깊게 분석했다면 크롤러 트래픽과 같은 의심스러운 트래픽을 확실히 발견하게 될 것입니다. 임퍼바(Imperva)가 발표한 '2023년 임퍼바 악성 봇 보고서(2023 Imperva Bad Bot Report)'에 따르면 2022년 전체 인터넷 트래픽 중 47.4%가 크롤러 트래픽이 될 것으로 예상된다. 이는 2021년 42.3%에 비해 5.1% 증가한 수치다. 이 크롤링 트래픽 중 30.2%는 악성 크롤러였으며, 이는 2021년 27.7%에서 2.5% 증가한 수치입니다.
국내외 공개자료를 보면 전통산업을 비롯해 범인터넷, 정부, 기업, 금융 등 거의 모든 산업에 악성 크롤러가 등장하고 있으며, 모두 다양한 수준으로 크롤러의 공격을 받고 있다는 결론을 내릴 수 있다. 크롤러의 트래픽은 여전히 해마다 증가하고 있습니다.
대부분의 일반 크롤러는 생산성 향상에 도움이 되는 반면, 악의적인 크롤러는 데이터 유출을 유발할 뿐만 아니라 일반적인 사용자 경험에도 영향을 미칩니다. 적절한 크롤링 방지 서비스는 악성 크롤러를 식별하고 차단할 수 있으며, JD Cloud WAF 의 BOT 관리는 다양한 크롤러 보호 기능을 제공합니다.
악의적인 파충류의 위험
웹 크롤러, 웹 스파이더 또는 웹 스파이더라고도 알려진 크롤러(웹 크롤러)는 인터넷에서 자동으로 웹 콘텐츠를 얻고 여기에서 정보를 추출하는 데 사용되는 자동화된 프로그램 또는 스크립트입니다.
크롤러는 합법적인 크롤러와 불법적인 크롤러 또는 악성 크롤러로 구분됩니다. 적법한 크롤러는 네트워크 윤리와 법률을 준수하고 합법적이고 규정을 준수하며 우호적인 방식으로 운영되는 웹 크롤러입니다. 데이터를 수집하고 정보를 얻을 때 이러한 크롤러는 웹사이트의 robots.txt 프로토콜을 따르고 웹사이트의 개인 정보 보호 정책과 이용 약관을 존중하며 관련 법률 및 규정을 준수합니다. 합법적인 크롤러의 목적은 일반적으로 웹사이트에서 공개적으로 표시되는 정보를 수집하는 것이며, 크롤링 빈도와 속도는 합리적이고 제어 가능합니다. 이러한 크롤러의 사용은 웹사이트의 액세스 규칙을 준수하며 웹사이트에서 심각한 대역폭 압박이나 리소스 낭비를 초래하지 않습니다. 예를 들어, 우리가 일반적으로 사용하는 Baidu, Bing 및 기타 검색 엔진은 크롤러와 분리될 수 없습니다. 검색 엔진 크롤러는 분석, 처리 및 수집을 위해 매일 인터넷에서 수많은 웹 페이지를 크롤링합니다. 정렬하면 관련 웹 페이지 스냅샷을 사용자에게 제공합니다.
악성 크롤러는 온라인 윤리 및 법률을 준수하지 않고 불법적이거나 파괴적이거나 유해한 방식으로 운영되는 웹 크롤러 유형입니다. 이러한 크롤러는 일반적으로 사이트의 robots.txt 프로토콜을 따르지 않고, 사이트의 개인정보 보호정책을 존중하지 않으며, 사이트의 이용 약관 및 서비스 계약을 준수하지 않습니다. 악의적인 파충류의 목적은 다음을 포함하지만 이에 국한되지는 않습니다.
- 취약점 탐지: 공격자는 크롤러를 사용하여 웹사이트를 검사하여 취약점을 찾아 웹사이트 권한을 확대하고 백도어를 설치하는 등의 작업을 수행합니다.
- 데이터 도용: 공격자는 사기, 스팸, 신원 도용 및 기타 바람직하지 않은 목적으로 사용될 수 있는 웹 사이트의 민감한 데이터, 개인 정보, 비즈니스 비밀 등을 불법적으로 얻기 위해 크롤러를 배포합니다.
- 티켓 긁기 및 양모 수집: 공격자는 크롤러를 사용하여 쿠폰을 빼앗고 몇 초 만에 제품을 판매하며 이는 활동 효과에 영향을 미칩니다. 비밀번호 침해: 사용자 계정에 접근하기 위해 대규모 무차별 대입 크래킹 또는 비밀번호 충돌로 인해 웹사이트 사용자의 계정 보안에 심각한 위협이 됩니다.
- 무차별 대입 크래킹(Brute Force Cracking): 공격자는 대규모 좀비 네트워크를 사용하여 웹 사이트를 고속, 대규모로 공격하여 서버 과부하 및 대역폭 낭비를 초래하고 웹 사이트의 정상적인 작동에 영향을 미칩니다.
요약하면, 악성 크롤러는 웹사이트의 정상적인 운영에 영향을 미치는 것에서부터 기업의 정상적인 운영에 심각한 영향을 미치는 것에 이르기까지 웹사이트와 기업에 심각한 영향을 미칩니다. 따라서 악의적인 크롤러 요청을 차단하는 크롤링 방지 서비스를 배포하여 위협으로부터 웹사이트를 보호하는 것이 매우 중요합니다. JD Cloud WAF Bot Management는 다양한 크롤러를 처리하는 데 효과적으로 도움이 될 수 있는 다양한 크롤러 보호 방법을 제공합니다.
악성 크롤러 방지 - JD Cloud WAF 봇 관리
JD Cloud WAF Bot 관리는 크롤러 식별 및 분류를 지원하며, 검색 엔진 스파이더 트래픽 허용, 상품 정보, 플래시 세일 가격, 재고 정보 등 핵심 데이터에 대한 악의적인 크롤링 차단 등 타겟 트래픽 관리 전략을 채택하여 트래픽을 처리할 수 있습니다. 악성 로봇 크롤링으로 인한 리소스 소모 및 비즈니스 데이터 조회를 방지합니다.
JD Cloud WAF는 공통 크롤러 UA 라이브러리를 제공하여 11개 범주의 수백 가지 상업용 크롤러에 대한 보호를 제공하며 이러한 크롤러를 빠르고 효율적으로 차단할 수 있습니다.
JD Cloud WAF는 웹 공격 보호와 빅데이터 알고리즘을 결합하여 악성 IP 처벌을 제공하며 악성 IP 스캐닝 동작을 적시에 식별 및 차단하여 스캔 누락 및 파일 통과와 같은 크롤링 동작을 효과적으로 방지할 수 있습니다.
JD Cloud WAF 안티 크롤러 엔진은 알고리즘과 모델을 사용하여 웹사이트 요청 트래픽을 자동으로 학습 및 분석하고 느슨함, 정상, 엄격함의 세 가지 수준의 보호 모드를 제공하며 구성 관찰, 인간-컴퓨터 상호 작용, 차단 및 사용자 정의 페이지로 돌아가기를 지원합니다. 등. 데이터 크롤러 및 쿠폰 스크래핑 크롤러로부터 효과적으로 보호합니다.
JD Cloud WAF는 계정 보안을 제공하며, 추출 요청에 포함된 계정 번호와 비밀번호를 자동으로 분석하여 취약한 비밀번호 감지, 무차별 대입 크래킹, 크리덴셜 스터핑 공격을 효과적으로 방지할 수 있습니다.
JD Cloud WAF는 클라우드에서 악의적인 동작으로 IP 액세스를 차단할 수 있는 IDC 위협 인텔리전스를 제공하고, 가짜 스파이더 인텔리전스는 검색 엔진 스파이더로 위장한 크롤러 요청을 차단할 수 있습니다.
JD Cloud WAF는 브라우저로 가장하는 악성 크롤러의 요청 동작을 식별할 수 있는 가짜 UA 점수를 제공합니다.
JD Cloud WAF는 맞춤형 BOT 규칙을 제공하고 여러 조건의 중첩을 지원하며 프런트엔드 기술과 위협 인텔리전스를 동시에 중첩할 수 있습니다. 다차원 빈도 통계와 결합하여 다양한 비즈니스 시나리오에서 크롤러 동작을 유연하게 지원할 수 있습니다. 공격 및 방어 대결을 위한 견고한 기반을 제공합니다.
2023년 상반기에 JD Cloud WAF는 클라우드상의 많은 고객이 수억 건의 크롤러 공격으로부터 보호할 수 있도록 지원했으며 공격의 최대 QPS는 20W+/s에 도달했습니다. 공격 수단과 목적도 다양해 일부는 셀 기지국의 IP 풀에 연결하고, 일부는 일반 사용자인 척하고, 일부는 일반 스캐닝 탐지, 일부는 스캐닝 쿠폰, 일부는 스캐닝 특별 제안, 일부는 상품 가격을 크롤링한다.
얼마 전 Cloud WAF에서 쿠폰을 보내주신 고객이 있었는데, 처음에는 Brush가 퍼블릭 클라우드의 기능 서비스와 클라우드 호스트의 기능을 이용해 쿠폰을 스와이프했는데, 고객이 Cloud WAF의 IDC 위협 인텔리전스를 열어서 쉽게 처리했습니다. ; Brush는 전략을 업그레이드하고 셀 기지국의 IP 풀 위장을 사용했습니다. 많은 Chrome 브라우저 사용자가 쿠폰 인터페이스를 요청하고 고객에게 크롤러 방지 엔진을 활성화하고 사용자 정의 봇 규칙을 구성하도록 안내합니다. 일반적인 최대 QPS는 2K에 불과하며 쿠폰이 발행되면 최대 QPS는 11W에 도달합니다. 5분 만에 1405W 요청이 들어왔고 Cloud WAF가 1401W를 차단했습니다. 그 중 59%는 안티 크롤러 엔진에 의해 식별되었고, 38%는 맞춤형 BOT 규칙에 의해 차단되었으며, 3%는 위협 인텔리전스에 의해 차단되었으며, 악성 크롤러 식별 및 차단 비율은 99.7%에 달했습니다.
요약하다
인터넷 트래픽의 절반은 크롤러에서 발생합니다. 웹 사이트가 크롤러 동작을 발견하지 못하거나 웹 사이트가 악성 크롤러의 공격을 받고 있는 경우 클라우드 WAF의 크롤러 관리를 시도해 볼 수 있습니다. 또한 크롤러 공격을 보호하는 데 도움이 됩니다. 자세한 내용은 공식 웹사이트 설명서를 참조하세요 .
3학년 중학생은 Windows 12의 웹 버전을 작성했습니다 . IDE는 공식적으로 데뷔했으며 "진정한 독립적인 연구 개발"로 알려져 있습니다. 동시에 업데이트되며 기본 NT 아키텍처는 Electron "Hongmeng의 아버지" Wang Chenglu 를 으로 기반 : 홍멍(Hongmeng) PC 버전 시스템은 내년에 출시될 예정이며, Wenxin은 전 사회에 공개될 예정 입니다 정식 출시 3.2.0 Green Language V1.0 정식 출시저자: Li Wenqiang, JD Technology
출처: JD Cloud 개발자 커뮤니티에서 재인쇄했습니다. 출처를 표시해 주세요.