目次
Arkose Labs は、2023 年第 3 四半期の「悪意のあるクローラー レポート」を発表しました。これによると、2023 年第 3 四半期には、悪意のあるクローラー プログラムと不正なトラフィックがインターネット トラフィックの 73% を占めていました。
悪意のあるクローラーが増加する理由は 2 つあります。1 つは、人工知能テクノロジーが一般的に利用可能になったことで、悪意のあるクローラーのパフォーマンスが向上したためです。2 つ目は、ブラック アンド グレーの製品により、「Crime-as-a-Service」（CaaS）を通じた攻撃の商用化が促進されました。 、Crime-as-a-Service）の普及により、新たな攻撃の開始が加速され、黒とグレーの製品がさらに増加します。
いわゆる「サービスとしての犯罪」とは、個人が特定の企業や組織を攻撃したいが、リソース、技術、時間がない場合に、別の個人や組織にお金を払ってサイバー攻撃を仕掛けることができることを意味します。言い換えれば、Crime-as-a-Service は、意図はあってもスキルを持たない人がサイバー犯罪者になることを可能にします。
悪意のあるクローラの主な攻撃方向
悪意のあるクローラーは、主にデータの窃盗、ユーザーの詐欺、サービスの中断など、さまざまな目的で使用されます。それはさまざまな分野に多大な損失とリスクをもたらしており、その中には業界横断的なものもあれば、業界特有のものもあります。悪意のあるボットの影響を最も受けている業界は、テクノロジー (76%)、ゲーム (29%)、ソーシャル メディア (46%)、電子商取引 (65%)、金融サービス (45%) です。
発券部門。これは、悪意のあるクローラーの最も一般的なターゲットの 1 つであり、組織や個人がチケットを入手して闇市場で高値で転売するのに役立ち、一般の消費者が手頃な価格でチケットを購入することが困難になります。
金融機関。悪意のあるクローラーは、ユーザー アカウントをハッキングしたり、金融詐欺を行ったり、機密情報を盗もうとしたりすることがよくあります。さらに、一部の投資会社は、Web クローラー ロボットを使用して競合他社のデータや戦略を取得し、自社の投資や取引のパフォーマンスを向上させています。たとえば、ヘッジ ファンドは Web クローラー ボットを使用して、在庫レベルや価格データなどの非伝統的なデータを収集および分析し、投資決定の指針としています。ヘッジファンドは2020年に20億ドルを支払ったと伝えられている。
オンラインゲーム。オンライン ゲームは、ユーザー アカウントから金銭やゲーム アイテムを盗んでオンラインで販売しようとする悪意のあるクローラーであるクレデンシャル スタッフィング ボットに悩まされています。
航空会社。航空会社のトラフィックの 25.9% は悪意のあるクローラーによるもので、航空会社の航空券の価格や座席は競合他社や旅行仲介業者によってクロールされ、収益と顧客エクスペリエンスに影響を与えています。さらに深刻なのは、一部のブラック アンド グレー製品が悪意のあるクローラーを使用して、ユーザー アカウントに蓄積された航空マイルを盗み、違法な取引や引き換えに使用することです。
電子商取引。電子商取引 Web サイトのトラフィックの 18% はこれらの悪意のあるクローラーからのもので、コンテンツ スクレイピング、アカウント乗っ取り、クレジット カード詐欺、さまざまなクーポンに使用されます。
社会情報。悪意のあるクローラーは、コンテンツのスクレイピングによく使用され、コンテンツを盗んで他のチャネルに再投稿するだけでなく、不当に競争するために競合他社の情報を取得します。これは、正規の Web サイトの利益と評判を損なうだけでなく、オンライン エコシステム全体を歪めます。多くの場合、Web サイトは、実際には悪意のあるクローラーによって攻撃されているにもかかわらず、トラフィックが増加したと誤って認識することがあります。
アカウントを盗む。Credential Stuffing 攻撃は、悪意のあるクローラーのもう 1 つの重要な目的であり、脆弱なパスワードやパスワードを繰り返し使用しているアカウントは簡単に盗まれます。
悪意のあるクローラーを特定するにはどうすればよいですか?
現在の悪意のあるクローラーには、ランダムな IP アドレス、匿名プロキシ、ID の変更、人間の操作動作の模倣などの特徴があり、検出してブロックすることが非常に困難になっています。Dingxiang Defense Cloud ビジネス セキュリティの専門家は、悪意のあるクローラーはその動作と属性に基づいて分析および特定できると指摘しました。
1 つはアクセス対象です。悪意のあるクローラーの目的は、ユーザー データ、製品価格、レビュー コンテンツなど、Web サイトやアプリの中核となる情報を取得することです。したがって、通常、これらのクローラーは、この情報を含むページにのみアクセスし、他の無関係なページは無視します。
2 つ目はアクセス動作です。悪意のあるクローラは、プログラムによって自動的に実行され、あらかじめ設定されたプロセスやルールに従ってアクセスするため、その動作には明らかな規則性、リズム、一貫性があり、通常のユーザーのランダム性、柔軟性、多様性とは大きく異なります。
3つ目は設備へのアクセスです。悪意のあるクローラーの目的は、最短時間でより多くの情報をクロールすることであるため、同じデバイスを使用して閲覧、クエリ、ダウンロードなどの大量のアクセス操作を実行するため、異常なアクセス頻度が発生します。デバイスの継続時間、深度、その他の指標。
4 つ目は、IP アドレスにアクセスすることです。悪意のあるクローラーは、Web サイトによる識別や禁止を避けるために、クラウド サービス、ルーター、プロキシ サーバーなどのさまざまな手段を使用して IP アドレスを変更します。これにより、ソース リージョン、オペレータ、ネットワーク タイプ、および IP アドレスのその他の情報に不一致が生じたり、通常のユーザーの分布から大幅に逸脱したりする可能性があります。
5つ目は訪問時間帯です。発見されるリスクを軽減するために、悪意のあるクローラーは通常、深夜や早朝など、Web サイトのトラフィックが少なく監視が弱い時間帯にバッチでクロールすることを選択します。これにより、この期間中の訪問数や帯域幅使用量などの異常な指標が発生します。
6つ目はビッグデータのモデリングとマイニングです。通常のWebサイト利用者と悪意のあるクローラのアクセスデータを収集・加工・マイニング・モデル化することで、Webサイト独自のクローラ識別モデルを構築し、識別精度と効率を向上させることができます。
効果的な予防および制御対策
悪意のあるクローラの攻撃手法も高度化・複雑化しており、アクセス頻度の制限やフロントエンドページの暗号化だけでは効果的に防御することは困難であり、人間と機械の認識技術を向上させ、識別・傍受能力を高める必要があるロボットによる人間への攻撃を制限するブラック製品や、システムターゲットへのアクセスにより、悪意のあるクローラの攻撃コストが増加します。Dingxiang は、悪意のあるクローリング動作を効果的に防止できる、フルプロセスの 3 次元防止および制御ソリューションを企業に提供します。
まず、 Dingxiang Defense Cloud を使用して、プラットフォームとアプリの動作環境の定期的なテストとセキュリティ強化を実施します。また、アプリとクライアントではコードの難読化やパッケージ化などの保護対策が実行され、通信リンクが暗号化されます。エンドツーエンドのセキュリティを確保するために送信されます。リンクのセキュリティ。
第二に、 Dingxiang Defense Cloud と Dingxiang Dinsight リスク制御エンジンの展開に基づいて、ビッグデータの照合と追跡を通じて多次元で詳細な分析が実行され、異常な動作を正確に特定し、悪意のあるクローラーの正確な特定と傍受を実現します。
その中で、Dingxiang Defense Cloud のスマート検証コードは、人工知能技術を使用して、悪意のあるクローラーによるデータの盗用や窃盗を効果的にブロックし、登録、ログイン、およびクエリ、検証、決定、傍受。Dingxiang Defense Cloud のデバイス フィンガープリント テクノロジーは、コード インジェクション、フック、シミュレーター、クラウド電話、ルート、ジェイルブレイクなどのリスクを効果的に監視および遮断し、デバイスの一意の識別子を通じてデバイスの正確な識別とリスク評価を実現します。
Dingxiang Dinsight リスク制御エンジンは、ビジネス クエリ シナリオ リクエスト、クライアントが収集したデバイスの指紋情報、ユーザーの行動データなどの多次元情報に基づいて、悪意のあるクローラの動作を効果的に識別し、セキュリティの予防および制御戦略に基づいて、効果的に検出できます。悪意のあるクローラー: クロール動作を特定し、傍受します。
最後に、 Xintellll インテリジェント モデル プラットフォームに基づいて、リスク データとビジネス データの詳細な分析を実施して、潜在的なリスクをさらに調査し、セキュリティ ポリシーのリアルタイム変更を実現し、さまざまな悪意のある攻撃をより効果的に阻止するための専用のリスク管理モデルを構築します。 。