カフカの操作と共通クエリ操作のメンテナンスは、次のことを結論付けました。
テストメッセージのカフカの生産と消費
发送:ビン/ kafka-console-producer.sh --brokerリスト10.46.200.165:9092 --topic contentApprove 接收:ビン/ kafka-console-consumer.sh --bootstrap-サーバー10.46.200.165:9092 --topic contentApprove - 初めから
トピックコマンドリファレンスを作成します
.bin / kafka-topics.sh --create --zookeeperはlocalhost:2181 --partitions 6 --replication因子2テスト--topic ### --partition:作成するパーティションの数は、一般的にサーバの二重数とすることができます ### --replication因子:コピーのデフォルトの数1に、何のコピーがないことを示します。確認の冗長性は、少なくとも2でなければなりません
コピーの数を変更カフカ
ビン/ kafka-reassign-partitions.sh --zookeeper 10.124.77.41:2181 --reassignment-JSONファイルのtest.jsonの-execute
修正パーティション3~9を有します
ビン/ kafka-topics.sh --zookeeperはlocalhost:2181 --partitions 9 --alter --topicテスト
クエリログには大きすぎる障害物であります
##最长行 AWK '{IF(長さ(MAX)<長さ())MAX = $ 0} END {印刷マックス}' flume.log> /tmp/long.txt ##最短行 AWK「(NR == 1 ||長さ(分)>長さ()){分= $ 0} END {印刷分間}」data.txtを
queryコマンドを使用するには、トピック積ま必要性
##クエリトピック ビン/ kafka-topics.sh --zookeeper 10.124.14.52:2181 -list ##トピックの説明を確認するために ビンを/ kafka-topics.sh --zookeeper 10.124.14.52:2181 --describe --topicテスト ##ビューリスト のbin / kafka-consumer-groups.sh --bootstrap-サーバー10.124.14.57:9092 -list ##トピックグループの蓄積、 ビン/ kafka-consumer-groups.sh --bootstrapサーバ10.124.14.57 :9092 --describe --group test_groupは ##トピック削除する カフカが住んでいた/ binに/ kafka-topics.sh --delete --zookeeper 10.124.14.52:2181 --topicテスト
elasticsearchのお問い合わせ
##クエリインデックスケース カール-sk HTTPS://ユーザー:[email protected]:?9200 / _cat /インデックスvが ##弾性クラスタのステータスを照会 カール-k HTTPS://ユーザー:[email protected]:9200 / _cluster /健康
水路開始基準
nohupを/データ/水路/実行/水路/ binに/水路-ngのエージェント--conf /data/flume/run/flume/conf/conf.d/ --confファイル/データ/水路/実行/水路/ confに/ conf.d / test_prod.conf --name test_prod -Dflume.codeadmin.logger = INFO、コンソール&
スタートジャーパッケージ指定ポート+
nohupを/usr/local/jdk1.8/bin/java -XX:+ UseConcMarkSweepGCを-Xmx3g -Xms3g -Dserver.port = 8071 -jar /data/jenkins_run/jar_home/release/h5-oms_release/h5-oms-0.0.1 -SNAPSHOT.jar --spring.profiles.active =解放--spring.cloud.inetutils.preferred-ネットワーク= 10.46.169>を/ dev / null 2>&1&