仮想マシンインフラ共通の操作コマンド（2） - ソフトウェアのインストールは、環境の設定します

仮想マシンソフトウェアのインストール、設定した環境

 

1、wgetの：コマンドが見つかりません。

[ルート@ localhostの〜]＃yumを -y wgetのインストール
インストールは完了です。

Linuxシステムを使用して上記の方法の前提はすでに、我々は（Baiduのロットをクリックしてください）ネットワークリンクを開くために行くだろうされていない、パスが外部ネットワークに接続されている場合は、Baiduのホーム・ページにpingを実行することができ、外部のネットワークに接続され、それができるようにwgetコマンドが外部ネットワークを介してダウンロードした後、wgetのインストールyumを実行しますので、あなたができることですので、Webリンクを開いた後、実際に外部ネットワークをLinuxシステムを再起動します。

2、オンラインダウンロードJDKのインストール

命令：
http://download.oracle.com/otn-pub/java/jdk/8u131-b11： "oraclelicense =受け入れる-securebackup-クッキークッキー" --header --no-クッキーのwget --no-チェックインの証明書/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm
参考地址：
https://www.cnblogs.com/justuntil/p/11665540.html

3、ディレクトリを作成します

MKDIR /data1/ehserver/env/kafka_2.11-2.2.0/logs/kafka-logs-1 -pv
解凍：
タールzxf kafka_2.11-2.0.0.tgz -C / DATAL / ehserver / ENV

図4は、JDKのバージョンでは、既存の仮想マシンを表示します。

コマンドを入力します。rpm -qa | grepのJDK

5、インストールダウンロードZK

wgetのhttp://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.0/apache-zookeeper-3.6.0.tar.gz
wgetのhttp://mirror.bit.edu.cn/apache/zookeeper /zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

参考住所：
https://www.cnblogs.com/expiator/p/9853378.html

6、ZKスタートを見つけることができないか、メインクラスをロードすることはできませんorg.apache.zookeeper.ZooKeeperMain

https://www.cnblogs.com/zhoading/p/11593972.html

7、安装kafka

参考パートカフカのインストール

8、テストのデモ

创建一个topic：
对于linux或者macos操作系统，执行kafka的shell文件
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

对于windows操作系统用户，请执行对应的bin/windows目录下的bat文件
bin/windows/kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动producer：
对于linux或者macos操作系统，执行kafka的shell文件

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
对于windows操作系统，执行kafka的bat文件

bin/windows/kafka-console-producer.bat --broker-list localhost:9092 --topic test


启动consumer：
对于linux或者macos操作系统，执行kafka的shell命令

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
对于windows操作系统，执行kafka的bat命令

bin/windows/kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test

9、異常：

 ERRORエラーキーで話題のテストにメッセージを送信する：NULL、値：エラーで14バイト：（org.apache.kafka.clients.producer.internals.ErrorLoggingCallback）
org.apache.kafka.common.errors.CorruptRecordException：このメッセージは、持っています、そのCRCチェックサムに失敗した有効なサイズを超えて、圧縮され話題にnullキーを持っている、あるいは破損しています。

理由：キー値を作成する必要によって生成されたカフカ

スタートプロデューサーとして改正されます。bin / kafka-console-producer.sh --brokerリストはlocalhost：9092 --topicテスト\ - プロパティparse.key =真\ - プロパティkey.separator =、

キー、値：フォーマットを送る 
消費者側が値を受け取ることができるように。

10、Redisのインストール

wgetのhttp://download.redis.io/releases/redis-5.0.5.tar.gz

参考文献：

https://blog.csdn.net/slss01/article/details/88920845
https://blog.csdn.net/weixin_44899258/article/details/93976868

スタート：./bin/redis-server /data1/ehserver/env/redis-4.0.8/etc/redis.conf 

11、-bash：MKDE：コマンドが見つかりません。 

gccがインストールされていないためである
ソリューション：
YUMのgcc-Cをインストール-y ++

12、Redisのは、ログ出力を開始します 

https://www.cnblogs.com/hzb462606/p/9117193.html

ログファイル「/data1/ehserver/env/redis-4.0.8/logs/nohup.out」

/data1/ehserver/env/redis-4.0.8/bin/redis-server
/data1/ehserver/env/redis-4.0.8/etc/redis.conf

10、Tomcatの

wgetのhttp://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.8/bin/apache-tomcat-9.0.8.tar.gz

wgetのhttp://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.100/bin/apache-tomcat-7.0.100.tar.gz 

＃ドッキングウィンドウの実行には、-p 58080を-d：8080 -v /ルート/ webappsに/場合：/ opt / tomcatに/ webappsに/ --name mytomcat_1 mytomcat：1.0 /root/run.sh

 

11、カフカプロファイルの説明（server.properties）

（リスナーが同じで各ノードbroker.idない）server.properties

#是否允许删除topic，默认false不能手动删除
delete.topic.enable=true
#当前机器在集群中的唯一标识，和zookeeper的myid性质一样
broker.id=0
#当前kafka服务侦听的地址和端口，端口默认是9092
listeners = PLAINTEXT://192.168.100.21:9092
#这个是borker进行网络处理的线程数
num.network.threads=3
#这个是borker进行I/O处理的线程数
num.io.threads=8
#发送缓冲区buffer大小，数据不是一下子就发送的，先会存储到缓冲区到达一定的大小后在发送，能提高性能
socket.send.buffer.bytes=102400
#kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
socket.receive.buffer.bytes=102400
#这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
socket.request.max.bytes=104857600
#消息日志存放的路径
log.dirs=/opt/module/kafka_2.11-1.1.0/logs
#默认的分区数，一个topic默认1个分区数
num.partitions=1
#每个数据目录用来日志恢复的线程数目
num.recovery.threads.per.data.dir=1
#默认消息的最大持久化时间，168小时，7天
log.retention.hours=168
#这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.segment.bytes=1073741824
#每隔300000毫秒去检查上面配置的log失效时间
log.retention.check.interval.ms=300000
#是否启用log压缩，一般不用启用，启用的话可以提高性能
log.cleaner.enable=false
#设置zookeeper的连接端口
zookeeper.connect=node21:2181,node22:2181,node23:2181
#设置zookeeper的连接超时时间
zookeeper.connection.timeout.ms=6000

12、複数のブローカを起動カフカ

同じサーバーに複数のブローカーを開始したい場合は、複数のconfig / server.propoertiesファイルをコピーすることができます

私は3つのブローカを起動できるように、ここで私は3つのserver.propertiesファイルをコピーしました。ブローカーを開始する前に、あなたは、これらの3つの異なる属性ことを保証するために、ファイルserver.propertiesの3つのプロパティ、broker.id、リスナーとlog.dirsを変更する必要があります。

bin/kafka-server-start.sh --daemon config/server1.properties
bin/kafka-server-start.sh --daemon config/server2.properties
bin/kafka-server-start.sh --daemon config/server3.properties

図13は、インストールパッケージは、他のノードに配布さ

[admin@node21 module]$ scp -r kafka_2.11-1.1.0 admin@node22:/opt/module/
[admin@node21 module]$ scp -r kafka_2.11-1.1.0 admin@node23:/opt/module/
修改node22，node23节点kafka配置文件conf/server.properties里面的broker.id和listeners的值。

14、環境変数を追加

[ADMIN @ NODE21モジュール] $ viの/ etc / profileを
#KAFKA_HOME
エクスポート= KAFKA_HOMEは/ opt /モジュール/ kafka_2.11-1.1.0
エクスポートPATH = $ PATH：$ KAFKA_HOME / binに
それ保存効果にすぐに

[管理者@ NODE21モジュール] $ソースは/ etc / profile

Cluster 3.1の最初には、飼育係開始
すべてのノードが飼育係を実行する必要が

[ADMIN @ NODE21〜] $ zkServer.shスタート
3.2カフカのクラスタサービスをバックグラウンド化
すべてのカフカのノードの必要性を実行します

[管理者@ NODE21 kafka_2.11-1.1.0] $ビン/ kafka-server-start.shのconfig / server.properties＆

15、カフカのコマンドライン

カフカ・ブローカー・リスト：NODE21：9092、NODE22：9092、node23：9092

zookeeper.connectリスト：NODE21：2181、NODE22：2181、node23：2181

ノードNODE21に新しいトピックを作成します。

[管理者@ NODE21 kafka_2.11-1.1.0] $ビン/ kafka-topics.sh --create --zookeeper NODE21：2181、NODE22：2181、node23：2181 --replication-因子3 --partitions 3 --topic TestTopic

オプション説明：

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

情報のトピックを表示コピー
[管理者@ NODE21 kafka_2.11-1.1.0] $ビン / kafka-topics.sh --describe --zookeeper NODE21：2181、NODE22：2181、node23：2181 --topic TestTopic

 トピックの情報は、作成した
[管理者@ NODE21 kafka_2.11-1.1.0] $ kafka-topics.sh --list --zookeeper NODE21：2181、NODE22：2181、node23：2181

NODE21の生産メッセージ

[管理者@ NODE21 kafka_2.11-1.1.0] $ビン/ kafka-console-producer.sh --brokerリストNODE21：9092、NODE22：9092、node23：9092 --topicテストトピック

NODE22の消費者情報（旧コマンド操作）

[ADMIN @ NODE22 kafka_2.11-1.1.0] $ kafka-console-consumer.sh --zookeeper NODE21：2181、NODE22：2181、node23：2181-以降--topic TestTopic --from
--from-以降：意志TestTopicトピックは、過去のすべてのデータが読み出されます。かどうかは、ビジネスシナリオ設定の選択を増加させます。

新しい顧客の注文

[管理者@ NODE22 kafka_2.11-1.1.0] $ kafka-console-consumer.sh --bootstrap-サーバーNODE21：9092、NODE22：9092、node23：9092 --from-始まる--topic TestTopic

删除トピック
[管理者@ NODE22 kafka_2.11-1.1.0] $ビン/ kafka-topics.sh --zookeeper NODE21：2181、NODE22：2181、node23：2181 --delete --topic TestTopic

Server.propertiesはdelete.topic.enable = trueまたは単に削除用にマークまたは直接、再起動を設定する必要があります。

16、カフカサービスを停止

[管理者@ NODE21 kafka_2.11-1.1.0] $ビン/ kafka-server-stop.sh停止

カフカの起動スクリプトの書き込み

[admin@node21 kafka_2.11-1.1.0]$ cd bin
[admin@node21 bin]$ vi start-kafka.sh
#!/bin/bash
nohup /opt/module/kafka_2.11-1.1.0/bin/kafka-server-start.sh  /opt/module/kafka_2.11-1.1.0/config/server.properties >/opt/module/kafka_2.11-1.1.0/logs/kafka.log 2>&1 &
赋权限给脚本：chmod +x start-kafka.sh

17、-bash：解凍：コマンドが見つかりません。

安装インストール
＃yumを-y解凍zipファイルをインストールします。[root @エージェントdevが、Redisの]

 

ここに提示し、この合計レコードに何かをする、その過程で遭遇した仮想マシンの開発環境でカフカを構築するためのいくつかの質問があります。唯一の自分自身の学習

 

作業難しく、毎日、毎日進歩して。