12、カフカデータの消失しないためにどのように
12.1データの生産者の損失を確保しない方法
カフカACKメカニズム：カフカ送信データは、各送信確認メッセージは、メッセージが適切に受信できることを保証するために、フィードバック機構を有している場合
同期モードの場合：ACKは大きなリスク、0に設定されている場合、そのデータを確保するためのACKメカニズムが失われていない、一般的に0にセットをお勧めしません
producer.type =同期
request.required.acks = 1
非同期モードの場合：バッファがデータで一杯である場合セットは直ちにモードクリーンアップされた場合、バッファを介してデータを制御するための送信、メッセージの時間閾値量しきい値を制御するための2つの値がある、送信されていない、危険性があります大きな、ブロックモードに設定する必要があります
結論：メッセージが失われないことを保証するために、データを失う可能性がプロデューサーが、設定することができます
producer.type =非同期
request.required.acks = 1
queue.buffering.max.ms = 5000
queue.buffering.max.messages = 10000
queue.enqueue.timeout.ms = -1
batch.num.messages = 200
消費者がデータを失わないようにする方法12.2
たびに消費のオフセット値を、そのデータが失われないことを確認するためにコミットカフカ自身のレコードのオフセット、消費は最後に消費するオフセット、次回へ続きます
データが失われないことを確実にする方法12.3ブローカー：
パーティションのコピーメカニズム
13、インストールおよび監視ツールの使用kafkaManager
ステップ1：kafkaManagerをダウンロード
ソースのダウンロード：
https://github.com/yahoo/kafka-manager/
ソースコードをダウンロードし、コンパイルする準備ができて解凍をアップロード
CD /export/servers/kafka-manager-1.3.3.15
解凍kafka-manager-1.3.3.15.zip -d ../servers/
./sbtクリーンDIST
翻訳が完了した後、私たちはパスの下に、このパッケージをインストールする必要があります
/export/servers/kafka-manager-1.3.3.15/target/universal
あなた自身、コンパイルされているバージョンをコンパイルしていない、自分のコンパイラ、あまりにも多くの問題を行うために、ソースコードをダウンロードする必要が引き継ぐために直接使用することができます
ステップ2：コンパイルアーカイブおよび抽出をアップロード
私たちはkafkamanagerアーカイブをサーバーにアップロードし、解凍してコンパイルされます
CD /エクスポート/ソフトウェア
解凍kafka-manager-1.3.3.15.zip -d /エクスポート/サーバ/
第三段階：設定ファイルを変更します
CDの/export/servers/kafka-manager-1.3.3.15/
VIMのconf / application.conf
カフカ-manager.zkhosts = "node01：2181、node02で：2181、node03の：2181"
ステップ4：起動スクリプトkafkamanagerに実行権限を追加
CDの/export/servers/kafka-manager-1.3.3.15/bin
chmodのU + X ./*
ステップ5：プロセス・kafkamanagerを開始
CD /export/servers/kafka-manager-1.3.3.15
nohupをビン/カフカマネージャ-Dconfig.file = /エクスポート/サーバ/カフカマネージャ-1.3.3.15 / confに/ application.conf -Dhttp.port = 8070 2>＆1＆
ステップ6：ブラウザのページビュー
==================================================
教訓します：
1、カフカの基本的な導入
2、伝統的なメッセージキューとカフカ比較
保証トランザクションベース：なぜ、ビジネスシステムのActiveMQ
カフカとなぜビッグデータプラットフォーム：スループット、スピード
3、導入カフカコンポーネントモデル：取得
プロデューサー：プロデューサーのメッセージ
収集メッセージの種類：話題
ブローカー：サーバー
消費者：消費者、データのうち、消費者の話題
パーティション：パーティション、話題の複数で構成パーティション
segement：複数のsegementで構成パーティション
.logの：データファイル
.INDEX：データのインデックス
4、カフカのインストール：ケリ
5、kakfaを取得するには、コマンドラインを使用
話題のプロデューサーのアナログ・シミュレーション・消費者の作成
図6は、ラインを介して実行するためのJava APIをカフカ
7、データ・パーティショニング戦略カフカ：ノウハウ
最初は：パーティション番号を指定します。
第二：直接取得鍵を分割するキー値データとのないパーティション番号、ハッシュコード
第三：いいえパーティション番号、何のキー値、ラウンドロビン送信がありません
第四：カスタムパーティショニング
カフカプロファイル用8ノート
9、水路やカフカの統合を取得
成功への可能な限り監視ツールの10は、kakfaの使用