メーカーに惹か建築家:水路ビルド高可用性、拡張性の高い大規模なログ取得システム

序文

ほぼすべての規模の企業では、すべての時間は、データ、ログデータ収集サービスオフラインのため、オンライン分析システムを大量に生産します。ログは、一般的に、これらのシステムは、高可用性、信頼性および拡張性を必要とする、特定のログ・システムを必要とする処理。

水路は、膨大なログ収集、集約および伝送システムの信頼性と高可用性を配布されています。一方、水路は、データの単純な処理を提供し、書き込み側(カスタマイズ)する能力各種データを受信するステップと、データを収集するために、カスタマイズデータ送信側をサポートするシステムのすべてのタイプです。フリューム最初のリリースバージョンは、現在、水路OG(原世代)と呼ばClouderaのに属している。しかし、水路機能の拡張と、水路OGコード作品が肥大化し、設計が不十分なコアコンポーネントされ、コア構成基準及びその他の欠点が露出されていない、特に最終リリースバージョン0.94.0水路OGで、ログ送信不安定現象は特に深刻です。次の(バージョンをまとめ水路NGと呼ぶ再構成、再構成可能なコア構成要素、コア構成とコード・アーキテクチャ:これらの問題を解決するために、2011年10月22日は、Clouderaのは水路-728、水路に完了画期的変化でジェネレーション);もう一つの理由は、水路のApacheに変更することで、Clouderaの水路は、Apache水路の名前を変更しました。

水路ビルド高可用性、拡張性の高い大規模なログ取得システム

第1章では、Apache Hadoopのに基本的な紹介します。ApacheのHBaseのです。この章では、ただのHadoop。HBaseのにし、その中のリーダーに詳細の一部を説明します。読者はHadoopのとHBaseのに精通している場合は、この章をスキップすることができます。

54844229e93c409ea74d4b4c38bb8a12


第2章では、水路の主要なコンポーネントと構成を説明し、データストレージおよびインデックスシステムを生成するために、サーバからのデータをプッシュするために水路を展開する方法について説明します。

fb93a8e45b0b482b9567acf83188d7ed


第3章、第4章、第5章と第6章では、ソース水路の異なるタイプは、チャネルおよびシンクを構築し、編集し、フォーマットや書き込みデータを受信するための水路をカスタマイズするためのカスタムプラグインを書いて説明しています。

6d0a821fb9bf42ebbf8b5b629b92cdb1



第7章を議論水路エージェントに、アプリケーションからのデータを送信するためにさまざまな方法。この章では、アプリケーションFlumeAgentにデータをプッシュするために、開発者向けに書かれています。

bca2c03d5e89432cbf8673a18707dc2f


設計、展開、および水路の展開を監視する方法第8章について説明します。

211e140aae5d499b871abdeae099f5d9


限られたプラットフォームのスペース上の理由から、だけでなく、誰もがより良い読めるのは、水路の小さなシリーズの関連情報準備がパッケージ化され、我々が興味を持って友人のプログラマーを持っている民間の手紙の返事を懸念前方の記事を、助けることができ得ることは、[学習]

9b70d0ef64584fc9a3529afdffd0398b


おすすめ

転載: blog.51cto.com/14544183/2461878