「私はみんなに助けはなく、共有、巨大な牛の人工知能のコースにできなかったつまずいた。チュートリアルは、フィクションを見ているよう、ゼロベース、ユーザーフレンドリーな、と非常にユーモラスなだけではない！そう他の人に、あまりにも悪いと思います。ポイントチュートリアルにジャンプすることができます.. "
ビッグデータの収集カタログのインタビュー、クリックしてください
ディレクトリ
1.水路使用シナリオ（☆☆☆☆☆）
2.水路パケット損失（☆☆☆☆☆）
3.水路の選択とカフカ
1.水路使用シナリオ（☆☆☆☆☆）
オンラインデータは、あなたは一般的に（ディスクに保存）メインフロアで、または別のシステムへのソケットを介して送信され、この場合には、カフカの年に直接インタフェース、書き込みデータを修正するために、オンラインサービスやアプリケーションを促進することは困難である、この時間水路は、あなたが転送を行う助けるために、このようなシステムが必要な場合があります。
2.水路パケット損失（☆☆☆☆☆）
スタンドアロン水路ソース構成のUPD、100 + M / sのデータ量、10ワットQPS水路大きな損失を開始するには、システムに設定し、多くの企業は、伝送システムの独自の研究開発を水路に捨てられたが、多くの場合、ソース - の水路を参照しますチャネルシンクモード。データ損失は約1％で維持されている場合ときに、データ仕事の水路過程でいくつかの企業、例えば、トラフィックログを監視し、どのように多くのログ水路エージェントが、カフカどのように多くのログなどの後水路は、問題ありません適切な措置をとる必要があるとき、約5％の損失。
3.水路の選択とカフカ
：メインコレクション層は水路、カフカ二つの技術を使用することができ
水路は：、水路、パイプフローモードでデフォルトの実装の多くを提供し、パラメータは、ユーザーが展開することを可能にする、拡張API。
カフカ：カフカは、永続的な分散型のメッセージ・キューです。カフカは、非常に汎用性の高いシステムです。あなたは、生産者と消費者の多くは、より多くのトピックトピックを共有することができます。これとは対照的に、水路は、特殊な工具は、HBaseのデータを送信、HDFSに向けられるように設計されています。それHDFSは特別な最適化、およびHadoopのの統合されたセキュリティ機能を備えています。データが複数のシステム、使用カフカを消費しているのであれば、Clouderaのが推奨されます。データはHadoopを、使用水路を使用するように設計されている場合。ご存知のように水路は、ソースとシンクの部品の多くを構築しました。しかし、カフカは明らかに消費者のエコシステムの小さな生産を持っている、とカフカのコミュニティサポートは良くありません。私たちは、この状況が改善されることを願っていますが、今のところ：使用カフカは、あなたが生産者と消費者の両方のために独自のコードを記述する準備ができていることを意味しています。そこFlumeSourcesがすでにあるとシンクがニーズを満たし、そしてあなたが好むあらゆる開発システムを必要としない場合は、水路を使用しています。
水路は、インターセプタに、データのリアルタイム処理を使用することができます。これらのデータマスキングまたは過剰に便利です。カフカは、外部のストリーム処理システムが行うことができますが必要です。カフカと水路は、ゼロデータ損失を保証するために適切な構成を介して信頼性の高いシステムです。しかし、水路は、イベントのコピーをサポートしていません。あなたはこれらのディスクを回復するまで、このように、ノード水路エージェントベンの崩壊であれば、さらに信頼性の高いファイルパイプラインの途中で、あなたはこれらのイベントを失うことになります。あなたは、パイプの信頼性の高いラインが必要な場合は、使用カフカは、より良い選択です。
水路とカフカはよく組み合わせて使用することができます。あなたのデザインがHadoopを、水路プロキシを使用して構成するカフカのデータソースを読み取ることも可能でデータをストリーミングするカフカから必要とする場合：あなたは、彼らの消費者を達成する必要はありません。あなたは直接HDFSとHBaseのと一緒にすべての利点水路を利用することができます。あなたは、消費者のClouderaManagerモニタリングを使用することができ、あなたも、いくつかの迎撃ストリーム処理を追加することができます。
