テストケース水路カフカ、水路構成。
S1 = a1.sources a1.channels = C1 a1.sinks = K1 a1.sources.s1.type = netcatを a1.sources.s1.bind =マスター a1.sources.s1.port = 44444 a1.channels.c1.type =メモリ a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.topicカフカ#T1 =トピックは、直接カフカの削除、k1.kafka.topicを追加する必要はありませ a1.sinks.k1を。 brokerList =マスター:9092#新しい利用brokerList、古いkafka.bootstrap.serversを使用して a1.sources.s1.channels = C1 a1.sinks.k1.channel = C1
1.カフカ。
kafka-server-start.shのconfig / server.properties
2.カフカのトピックを作成し、水路の設定トピックは、T1です。
唯一のマスターカフカを開始しましたので、ここで--replication-要因は、設定値が1より大きい場合、スレーブノードは、カフカ上記起動しないの#1である、また、カフカのノードから開始する必要がある パーティションの複製ファクタは上記のままパーティション番号の数パーティション大きな言葉はメモリを解決するのに十分ではない、あまりにも多くのデータの問題を緩和することができますが、メモリはまだ基本的にマシンから対処する必要性を解決しています。 kafka-topics.sh --create --zookeeperマスタ:2181 --replication-因子1 --partitions 2 --topic T1
3.水路を開始します。
水路-ngのエージェント-c confに-f confに/ kafka_test.conf -n A1 -Dflume.root.logger = INFO、コンソール
4.スタートカフカの消費者は、成功したかどうかを確認するために観察しました。
kafka-console-consumer.sh --bootstrapサーバーマスター:9092 --topic T1
5.水路プロファイルためのnetcatコマンド、メッセージを送信するための遠隔始動をモニターされます。
#そうでない場合はtelnetが、使用にはyumをtelnetのインストールインストール #ローカルホストのネイティブ ポート#44444を、コンフィギュレーション・ファイル水路に指定され、水路のスタートは、ポートスヌープ始まり のtelnet localhostの44444を
6.テスト
telnet localhostの44444 >こんにちは >世界 >ニース
ビューカフカ消費者ウィンドウは、対応するコンテンツがされている見つけます
#kafka-console-consumer.sh --bootstrapサーバーマスター:9092 --topic T1 ハロー ワールド 素敵な
概要:水路プロファイルの開始以来、本当にいけない、通じ調整するのに長い時間をデバッグ、右書いていません。第二に水路がそのようなスタート水路後など、対応するログ情報を確認することを学ぶために開始した後、それはカフカ対応するトピックを観察する必要がありますが、よく見るの不在、試運転前に数回を発見したことは関係なく、カフカの消費を行う方法、不合理ではありません誰がデータを取得することができません。しかし、最終的には水路プロファイルが間違っている場合は、水路を開始することを発見し、最終的に上記の水路プロファイルの問題は、対応する水路が注意を払うように、シンク部に構成されたので、トピックをリスニングすると、デフォルトのデフォルトのトピックは、あるバージョン理由いくつかの構成は同じことが成功の変換を実行するために行われる必要があるではありません。あなたはログをチェックするために注意を払う必要があります。