ベースの火花抗クローラー技術とカフカ[翌日]

3.システムアーキテクチャ

3.1テクノロジーの選択

テクノロジーの選択 コンポーネント名 版数 説明
プレゼンテーション層のフレームワーク SpringMVC(中枢) 4.0.7 高効率で安定した、ヘルプの開発者へのサーブレット、JSP技術の使用およびMVCの実装が変更Webプロジェクトを制御し、プロのレベルを向上させている、MVCデザインパターンWebアプリケーションの開発時間の使用で、開発者を減らします
論理層制御フレームワーク 春(中枢) 4.0.7 トランザクション管理、ロジック制御を提供します。フレームワークの主な利点の1つは階層化アーキテクチャであるJ2EEアプリケーション開発のための統合フレームワークを提供しながら、階層化アーキテクチャは、ユーザが使用するコンポーネントを選択することを可能にします
永続化フレームワーク 休止状態(RedHatの) 4.2.12 データベースを操作するには、オブジェクトのJavaプログラミングの考え方を使用してプログラマが任意でできるように、非常に軽量なのJDBCオブジェクトパッケージで作られた永続化フレームワーク、。

図4は、主に使用示します

4.1データ管理

4.2リアルタイム監視

4.3データの可視化

4.4ポリシーの管理

4.5プロセス管理

4.6ルール管理

5.アンチ登るのルール

5.1データソース

旅行関連の
起源、目的地、出発時刻、所定の時間
旅行関連者の
身元情報(名前機会、文書タイプ、文書番号機会人々に機会を得ました人々 、のタイプを利用する)、トリップ数
の所定の相関
チケットの個人情報(ログインID、ログインIP、ブラウザUA、携帯電話装置情報)動作し、入力し
た連絡先情報(連絡先の名前、連絡先電話番号、連絡先のメールボックス)
の追加情報(販売単位)
キーフィールド抗登るフライト
bookuserチケット購入者のIDを、ログインIDパールは、会員番号、電話番号やその他の非加盟のような
bookip購入者のIP
psgnameが名前に機会を得ました(ユーザーの機密情報)
psgtypeの人々は、そのような大人、子供のように、型に機会を得ました、乳児は
などのIDカード、パスポート、などの文書の種類、他のidtype
に機会を得ましたidcardを識別番号(ユーザの機密情報)
ContractName連絡先名(ユーザの機密情報)
contractphone連絡先の電話番号(ユーザの機密情報)
bookagent販売ユニット
depcity / depairport原点
arrcity / arrairport先
flightdate / deptime出発時間
キャビンクラスレベル

5.2抗登るのルール

ブラウザ以外の言葉は、UAが表示されます-単一の要求を押して
Y回よりも任意のX分のクエリ内- IPアドレス集約により
IPアドレスの凝集による- Xの連続したクエリの時間間隔が少ないY秒以上である
IPアドレスのポリマーで-クエリの任意のX分は、 Yは、時間間隔が小さい分散よりもある
IPアドレスの凝集による-任意のX分以内に、Yの毎分の分散は、クエリの周波数よりも低い
IPアドレスの凝集による-任意のX分以内に、異なる出発のクエリは、Yを超えて

5.3法則

休日、会員日、人気のルート

5.4不正行為の特長

長期的には、データのクロール繰り返し
データをクロールする(自動的にUA、IPスイッチ数分ごとに)複数のエージェントを使用して
高いの勃発短い時間内に各IPフローのための
要求の数、各昼と夜のIP平衡
人気のルート更新をより頻繁に速い
ブラウザのパスは完全ではありません

9.OpenResty概要

ビルドに9.1 OpenResty開発環境

1、OPenRestyダウンロードは
公式(https://openresty.org/cn/)をダウンロードすることができます
ノードスレーブ1 /ソフトウェアで圧縮されたの/ optをアップロードするには、どこのダウンロードLinuxバージョンopenresty-1.13.6.1.tar.gzを
、2 Linuxの(cent6.5)はOpenResrtyのインストール
ノートを
OpenResty依存ライブラリを持っている:perlの5.6.1+、libreadline、libpcre、のlibssl。私たちはこれらの依存関係をインストールする必要がありますので、
yumを-yのreadline-develのpcre-インストールのdevel opensslの-develのperlのgccの
抽出:最初のステップ
のtar -xzvf /opt/software/openresty-1.13.6.1.tar.gz -Cは/ opt /アプリケーション/
ステップ:設定は、
[Hadoopの@ SLAVE1 openresty] $ディレクトリを開始し、設定するコマンドを入力して
は./configure --prefix =は/ opt /アプリケーション/ openresty --with-http_stub_status_module
マウント(コンパイル):第三段階
メイクをインストール&&作ります

下のLUA 9.2のCentOSをインストールします。

-C -zxvf /opt/software/lua-5.3.4.tar.gzタールは/ opt /アプリ/
[@ Hadoopのスレーブ1アプリ] $ CD ./lua-5.3.4/
[スレーブ1 @ HadoopのLuaの-5.3.4]メイクLinuxのテスト$
[Hadoopの@スレーブ1-のLua 5.3.4] $メイクインストール
インストールが成功したかどうかをテスト:
[Hadoopの@スレーブ1-のLua 5.3.4] -v $のLua
のLua 5.3.4著作権©1994年から2017年Lua.org、PUC -Rio

リリース元の2件の記事 ウォンの賞賛0 ビュー123

おすすめ

転載: blog.csdn.net/weixin_45617201/article/details/104504770