Linuxマシンの展開カフカ(filebeat +ヘラジカ構図)

 

単一の展開カフカのfilebeat +ヘラジカ組み合わせ

 

準備:

カフカダウンロードリンクアドレスします。http://kafka.apache.org/downloads.html

ここでそれをダウンロードkafka_2.12-2.10.0.0.tgz(カフカと飼育係は、同じパッケージを使用しています)。

 

まず、インストールと設定JDKを(あなたが環境を設定することができ、JDKをダウンロードしてください)

JAVA_HOME =は/ opt / jdk1.8.0_131

CLASSPATH =。$ JAVA_HOME / lib.tools.jar

PATH = $ JAVA_HOME / binに:$ PATHに

輸出JAVA_HOMEのCLASSPATHのPATH

 

$のJava -version

Javaのバージョン "1.8.0_131"

Javaの(TM)SEランタイム環境(1.8.0_131-B11を構築)

Java HotSpot(TM)ServerのVM(25.131-B11、混合モードを構築します)

またはビン/ kafka-run-class.shにカフカJDKの環境変数を指定します

私たちのbin / kafka-run-class.sh

JAVA_HOME =は/ opt / jdk1.8.0_131

第二に、インストールカフカ

1 glibcのインストール

#yumを-yインストールglibc.i686

2抽出kafka_2.12-2.10.0.0.tgz

設定飼育係を

$のCDのkafka_2.12-2.10.0.0

$ viの設定/ zookeeper.properties

DATADIR = /データ/ソフト/カフカ/データ

dataLogDir = /データ/ソフト/カフカ/ログ

CLIENTPORT = 2181

maxClientCnxns = 100

tickTime = 2000

initLimit = 10

 

飼育係は、設定直後に開始しました:

$ビン/ zookeeper-server-start.shのconfig / zookeeper.properties

 

エラーがない場合は、開始するために引き返すことができます。

$のnohupをビン/ zookeeper-server-start.shのconfig / zookeeper.properties&

再構成カフカ

$ viの設定/ server.properties

broker.id = 0

リスナー= PLAINTEXT:9092://0.0.0.0

advertised.listeners = PLAINTEXT://server20.srv:9092

num.network.threads = 3

num.io.threads = 8

socket.send.buffer.bytes = 102400

socket.receive.buffer.bytes = 102400

socket.request.max.bytes = 104857600

log.dirs = /データ/ログ/カフカ

num.partitions = 2

num.recovery.threads.per.data.dir = 1

log.retention.check.interval.ms = 300000

zookeeper.connect = localhostを:2181

zookeeper.connection.timeout.ms = 6000

 

カフカ起動します。

$ビン/ kafka-server-start.shのconfig / server.properties

 

エラーがない場合は、開始するために引き返すことができます。

$のnohupをビン/ kafka-server-start.shのconfig / server.properties&

スタートアップをチェック:ポートは、デフォルトの2181(飼育係)と9202(カフカ)で有効になっています。

3 、テストカフカが住んでいました

(1)のトピックを作成します。

$ビン/ kafka-topics.sh --create --zookeeperはlocalhost:2181 --replication-因子1 --partitions 1 --topicテスト

 

(2)作成したトピックを表示するには

$ビン/ kafka-topics.sh --list --zookeeperはlocalhost:2181

テスト

 

(3)生産テスト・メッセージ(クライアント・アナログによって送信されたメッセージ)

$ビン/ kafka-console-producer.sh --brokerリスト192.168.53.20:9092 --topicテスト

> ..Hello世界..#タイピングを入力してください

 

(4)、テストメッセージコンシューマ(クライアントは、アナログ情報を受信します)

$ビン/ kafka-console-consumer.sh --bootstrap-サーバー192.168.53.20:9202 --topicテスト--from-始まります

 

情報が正常に受信された場合..hello世界..#説明カフカが正しくデプロイ

 

(5)、トピックを削除

$ビン/ kafka-topics.sh --delete --zookeeperはlocalhost:2181 --topicテスト

 

カフカ単一チャーターインストールが成功したのに代わって上記の完成。

第三に、コンフィギュレーション・filebeat

設定情報を追加するfilebeat.ymlファイル、元logstash出力をコメントアウト。

#-------------------カフカ出力---------------------

output.kafka:

  ホスト:[ "server20.srv:9092"]

  トピック: 'kafka_logstash'

 

第四に、設定logstashを

logstash.conf {...}ビート、構成情報ファイルを追加し、元の入力をコメントアウト。

  入力{

    カフカ{

      コーデック=> "JSON"

      bootstrap_servers => "server20.srv:9092"

      トピック=> [ "kafka_logstash"]

      group_idの=>「カフカ - 消費者グループ」

      decorate_events =>真

      auto_offset_reset => "最新"

  }

サーバーlogstash上で設定カフカアクセスアドレス:

$猫の/ etc / hosts

122.9.10.106 server20.srvの8bet、カフカ

五、カフカが住んでいた設定ファイルの参照を

$猫のconfig / server.properties | egrepの-v '^ $ |#'

broker.id = 0

リスナー= PLAINTEXT:9092://0.0.0.0

advertised.listeners = PLAINTEXT://server20.srv:9092

num.network.threads = 3

num.io.threads = 8

socket.send.buffer.bytes = 102400

socket.receive.buffer.bytes = 102400

socket.request.max.bytes = 104857600

log.dirs = /データ/ログ/カフカ

num.partitions = 2

num.recovery.threads.per.data.dir = 1

offsets.topic.replication.factor = 1

transaction.state.log.replication.factor = 1

transaction.state.log.min.isr = 1

log.retention.hours = 168

log.segment.bytes = 1073741824

log.retention.check.interval.ms = 300000

zookeeper.connect = localhostを:2181

zookeeper.connection.timeout.ms = 6000

group.initial.rebalance.delay.ms = 0

 

$猫のconfig / zookeeper.properties | egrepの-v '^ $ |#'

DATADIR = /データ/ソフト/カフカ/データ

dataLogDir = /データ/ソフト/カフカ/ zookeeper_log

CLIENTPORT = 2181

maxClientCnxns = 100

tickTime = 2000

initLimit = 10

$猫のconfig / producer.properties | egrepの-v '^ $ |#'

bootstrap.servers = localhostを:9092

compression.type =なし

$猫のconfig / consumer.properties | egrepの-v '^ $ |#'

bootstrap.servers = localhostを:9092

group.id =カフカ - 消費者グループ

第六に、テスト構成が通常受け入れた場合、通信されるメッセージを消費した後、その後、成功

$ビン/ kafka-console-consumer.sh --bootstrapサーバserver20.srv:9202 --topicテスト--from-始まります

 

 

おすすめ

転載: www.cnblogs.com/immense/p/11402640.html