Kafka--安装

準備オーケー

• 1.KafkaはScala + Java言語で記述されており、JDK環境が必要です
• 2.KafkaはZKに依存する必要があります
• 3.カタログを準備します
  • mkdir -p / export / servers /
  • mkdir -p / export / software /
  • mkdir -p / export / data /
  • mkdir -p / export / logs /
• 4.ダウンロード
  • http://archive.apache.org/dist/kafka/
  • https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
  • kafkaはscalaの複数のバージョンに基づいて、scala言語で書かれているため、kafkaは複数のバージョンをリリースしました。ここでは2.11を使用します

アップロード、解凍、名前の変更

• tar -zxvf kafka_2.11-1.0.0.tgz -C / export / servers /
• cd / export / servers /
• mv kafka_2.11-1.0.0 kafka

環境変数を構成し、時間内に有効にする

• vim / etc / profile
• 次の構成を追加します
  • export KAFKA_HOME = / export / servers / kafka
  • export PATH = $PATH：$ KAFKA_HOME / bin
  • ソース/ etc / profile

他のマシンに配布する

• node01の実行

scp -r /export/servers/kafka  node02:/export/servers
scp -r /export/servers/kafka  node03:/export/servers

scp /etc/profile node02:/etc/profile
scp /etc/profile node03:/etc/profile

• 次に、node02 / node03を実行します

source /etc/profile

構成ファイルを変更する

node01

vim /export/servers/kafka/config/server.properties

• すべて削除（コメントが多すぎる）

:%d

• iを押して挿入します

broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/data/kafka/kafka-logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node01

ndoe02

• vim /export/servers/kafka/config/server.properties
• すべて削除（コメントが多すぎる）
• ：％d
• iを押して挿入します

broker.id=1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/data/kafka/kafka-logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node02

node03

• vim /export/servers/kafka/config/server.properties
• すべて削除（コメントが多すぎる）
• ：％d
• iを押して挿入します

broker.id=2
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/data/kafka/kafka-logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node03

クラスターを開始します

• 1.注意!!! Kafkaはzkに依存しているため、必ず最初に3つのzkを開始してください。

/export/servers/zookeeper/bin/zkServer.sh start

• 2.さらに3つのカファクを開始します

nohup /export/servers/kafka/bin/kafka-server-start.sh /export/servers/kafka/config/server.properties >/dev/null 2>&1 &

• 3.3人のjpがkafkaプロセスを表示できます

• 4.zkにアクセスして確認することもできます

/export/servers/zookeeper/bin/zkCli.sh

ls /brokers/ids

quit

• それでおしまい！
• 5. jpsを停止してから、-9を強制終了します
  • /export/servers/kafka/bin/kafka-server-stop.shを使用することもできます