単一の展開カフカのfilebeat +ヘラジカ組み合わせ
準備:
カフカダウンロードリンクアドレスします。http://kafka.apache.org/downloads.html
ここでそれをダウンロードkafka_2.12-2.10.0.0.tgz(カフカと飼育係は、同じパッケージを使用しています)。
まず、インストールと設定JDKを(あなたが環境を設定することができ、JDKをダウンロードしてください)
JAVA_HOME =は/ opt / jdk1.8.0_131
CLASSPATH =。$ JAVA_HOME / lib.tools.jar
PATH = $ JAVA_HOME / binに:$ PATHに
輸出JAVA_HOMEのCLASSPATHのPATH
$のJava -version
Javaのバージョン "1.8.0_131"
Javaの(TM)SEランタイム環境(1.8.0_131-B11を構築)
Java HotSpot(TM)ServerのVM(25.131-B11、混合モードを構築します)
またはビン/ kafka-run-class.shにカフカJDKの環境変数を指定します
私たちのbin / kafka-run-class.sh
JAVA_HOME =は/ opt / jdk1.8.0_131
第二に、インストールカフカ
1 、 glibcのインストール
#yumを-yインストールglibc.i686
2抽出kafka_2.12-2.10.0.0.tgz
設定飼育係を
$のCDのkafka_2.12-2.10.0.0
$ viの設定/ zookeeper.properties
DATADIR = /データ/ソフト/カフカ/データ
dataLogDir = /データ/ソフト/カフカ/ログ
CLIENTPORT = 2181
maxClientCnxns = 100
tickTime = 2000
initLimit = 10
飼育係は、設定直後に開始しました:
$ビン/ zookeeper-server-start.shのconfig / zookeeper.properties
エラーがない場合は、開始するために引き返すことができます。
$のnohupをビン/ zookeeper-server-start.shのconfig / zookeeper.properties&
再構成カフカ
$ viの設定/ server.properties
broker.id = 0
リスナー= PLAINTEXT:9092://0.0.0.0
advertised.listeners = PLAINTEXT://server20.srv:9092
num.network.threads = 3
num.io.threads = 8
socket.send.buffer.bytes = 102400
socket.receive.buffer.bytes = 102400
socket.request.max.bytes = 104857600
log.dirs = /データ/ログ/カフカ
num.partitions = 2
num.recovery.threads.per.data.dir = 1
log.retention.check.interval.ms = 300000
zookeeper.connect = localhostを:2181
zookeeper.connection.timeout.ms = 6000
カフカ起動します。
$ビン/ kafka-server-start.shのconfig / server.properties
エラーがない場合は、開始するために引き返すことができます。
$のnohupをビン/ kafka-server-start.shのconfig / server.properties&
スタートアップをチェック:ポートは、デフォルトの2181(飼育係)と9202(カフカ)で有効になっています。
3 、テストカフカが住んでいました:
(1)のトピックを作成します。
$ビン/ kafka-topics.sh --create --zookeeperはlocalhost:2181 --replication-因子1 --partitions 1 --topicテスト
(2)作成したトピックを表示するには
$ビン/ kafka-topics.sh --list --zookeeperはlocalhost:2181
テスト
(3)生産テスト・メッセージ(クライアント・アナログによって送信されたメッセージ)
$ビン/ kafka-console-producer.sh --brokerリスト192.168.53.20:9092 --topicテスト
> ..Hello世界..#タイピングを入力してください
>
(4)、テストメッセージコンシューマ(クライアントは、アナログ情報を受信します)
$ビン/ kafka-console-consumer.sh --bootstrap-サーバー192.168.53.20:9202 --topicテスト--from-始まります
情報が正常に受信された場合..hello世界..#説明カフカが正しくデプロイ
(5)、トピックを削除
$ビン/ kafka-topics.sh --delete --zookeeperはlocalhost:2181 --topicテスト
カフカ単一チャーターインストールが成功したのに代わって上記の完成。
第三に、コンフィギュレーション・filebeat
設定情報を追加するfilebeat.ymlファイル、元logstash出力をコメントアウト。
#-------------------カフカ出力---------------------
output.kafka:
ホスト:[ "server20.srv:9092"]
トピック: 'kafka_logstash'
第四に、設定logstashを
logstash.conf {...}ビート、構成情報ファイルを追加し、元の入力をコメントアウト。
入力{
カフカ{
コーデック=> "JSON"
bootstrap_servers => "server20.srv:9092"
トピック=> [ "kafka_logstash"]
group_idの=>「カフカ - 消費者グループ」
decorate_events =>真
auto_offset_reset => "最新"
}
サーバーlogstash上で設定カフカアクセスアドレス:
$猫の/ etc / hosts
122.9.10.106 server20.srvの8bet、カフカ
五、カフカが住んでいた設定ファイルの参照を
$猫のconfig / server.properties | egrepの-v '^ $ |#'
broker.id = 0
リスナー= PLAINTEXT:9092://0.0.0.0
advertised.listeners = PLAINTEXT://server20.srv:9092
num.network.threads = 3
num.io.threads = 8
socket.send.buffer.bytes = 102400
socket.receive.buffer.bytes = 102400
socket.request.max.bytes = 104857600
log.dirs = /データ/ログ/カフカ
num.partitions = 2
num.recovery.threads.per.data.dir = 1
offsets.topic.replication.factor = 1
transaction.state.log.replication.factor = 1
transaction.state.log.min.isr = 1
log.retention.hours = 168
log.segment.bytes = 1073741824
log.retention.check.interval.ms = 300000
zookeeper.connect = localhostを:2181
zookeeper.connection.timeout.ms = 6000
group.initial.rebalance.delay.ms = 0
$猫のconfig / zookeeper.properties | egrepの-v '^ $ |#'
DATADIR = /データ/ソフト/カフカ/データ
dataLogDir = /データ/ソフト/カフカ/ zookeeper_log
CLIENTPORT = 2181
maxClientCnxns = 100
tickTime = 2000
initLimit = 10
$猫のconfig / producer.properties | egrepの-v '^ $ |#'
bootstrap.servers = localhostを:9092
compression.type =なし
$猫のconfig / consumer.properties | egrepの-v '^ $ |#'
bootstrap.servers = localhostを:9092
group.id =カフカ - 消費者グループ
第六に、テスト構成が通常受け入れた場合、通信されるメッセージを消費した後、その後、成功
$ビン/ kafka-console-consumer.sh --bootstrapサーバserver20.srv:9202 --topicテスト--from-始まります