1、kafka 安装

JDKをインストールします。

tar xvf jdk1.8.0_231.tar.gz  -C /usr/local && cd   /usr/local
ln -sv jdk1.8.0_231 jdk 

vim /etc/profile.d/java.sh
    JAVA_HOME=/usr/local/jdk
    PATH=$JAVA_HOME/bin:$PATH

飼育係のインストール（またはカフカ自身）

vim /usr/local/kafka/zookeeper/conf/zoo.cfg   
   tickTime=2000
   initLimit=10
   syncLimit=5
   dataDir=/data/zookeeper
   clientPort=2181
   maxClientCnxns=0

   # 集群版的zookeeper添加如下配置
   # server.1=ip1:2888:3888
   # server.2=ip2:2888:3888
   # server.3=ip3:28888:3888

カフカはkakfaをダウンロードしてインストール

wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

tar xvf kafka_2.11-0.10.2.1.tgz -C /usr/local && cd   /usr/local
ln -sv kafka_2.11-0.10.2.1.tgz kafka

メモリを開始カフカ変更

vim /usr/local/kafka/bin/kafka-server-start.sh
  export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G"

カフカの開始と停止

/usr/local/kafka/bin/zookeeper-server-start.sh -deamon /usr/local/kafka/conf/zookeeper.properties

/usr/local/kafka/bin/kafka-server-start.sh -deamon /usr/local/kafka/conf/server.properties

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/conf/server.properties
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/conf/zookeeper.properties

カフカは、スタート・ストップ・モードで個別にインストール

/usr/local/zookeeper/bin/zkServer.sh stop|stop

（外部ネットワークへのアクセスを提供するために必要な場合）2、カフカは、外部ネットワークへのアクセスを配置しました

前提条件

ネットワーク環境内の内部ネットワークのIPアドレスにドメイン名解決さを必要とする/ etc / hostsに設定することができます

パラメータ設定

host.name = kafka.test.com（ドメイン名解決に対応するには、ネットワークのIPへの解決策が必要です）
高のバージョンが推奨されていません。0.10.2.1低いバージョンを使用することができるだけリスナーのプロパティを使用するように構成されていない場合、リスナーの特性によって置換されています。これは、ホスト名のブローカーを表し、

advertised.listeners = PLAINTEXT：//kafka.test.com：9092（より高いバージョン、代替host.name、セットadvertised.listenersないセットhost.nameと）
されていない場合、飼育係に登録し、クライアントのリスナーに提供リスナーを使用した構成。

advertised.host.name（参照だけのために、提供する必要はありませんが）
非推奨しました。advertised.listenersまたはリスナーのプロパティを使用するように構成されていない場合のみです。公式サイトを推奨advertised.listeners

リスナー（参照だけのために、提供する必要はありません）
のようなURLとに耳を傾けるためのプロトコルの必要性、：PLAINTEXT：// myhostの：9092、 SSL：//：9091 CLIENT：//0.0.0.0：9092、REPLICATION：// localhostを：9093 。設定が指定されていない場合、java.net.InetAddress.getCanonicalHostName（）関数の戻り値

/ etc / hostsファイルの変更ブローカー

[イントラネットIP] kafka.test.com

外部ネットワークアクセスサーバの変更の/ etc / hostsファイル

[外部ネットワークIP] kafka.test.com

3、カフカ消費者のデバッグ

プロデューサー

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list IP:9092 --topic TOPIC

消費者

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server IP:9092 --topic TOPIC--from-beginning --max-messages 1
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 外网IP:9092 --topic TOPIC --from-beginning --max-messages 1

4、logstashデバッグ

output {
  stdout { codec => rubydebug { metadata => true }  }
}

5、logstashはkakfaログのトラブルシューティングを消費しません

、topics_patternワイルドカード問題。「*」は、「」以下であってはなりません

      topics_pattern=>"prefix-.*"

注意が必要であるB、フィルタのマッチングルール、トピックカフカ、異なるfilebeatのlogstash異なるバージョンを照合し、メタデータが同じトピックではないかもしれない対応に注意を払うことができるようにするため、

      if [type] =~ "prefix-*" {
          grok { match =>["[type]","^prefix-(?<index_name>)"] }
       }

      if [kafka][topic] =~ "prefix-*" {
        grok { match => [ "[kafka][topic]", "^prefix-(?<index_name>.*$)" ]}
      }

       if [@metadata][topic] =~ "prefix-*" {
          grok { match =>["[@metadata][topic]","^prefix-(?<index_name>)"] }
       }

      if [@metadata][kafka][topic] =~ "prefix-*" {
        grok { match => [ "[@metadata][kafka][topic]", "^prefix-(?<index_name>.*$)" ]}
      }

エクストラネットkakfa消費リファレンス：https://www.maiyewang.com/archives/17993

IPカフカアクセスさを介して外部ネットワークのインストールとセット