ビルドにELK +カフカログ収集環境

1. Elasticsearch構築および試験環境:
  (1)コンテナのESを削除
  (2)ESミラーを削除
  (3)ホスト・コヒーレント・メモリ:実行:vm.max_map_count須藤のsysctl -w = 655360
  (4)変更するFTPソフトウェアドッカーmem_limitに-compose.yml:2048M
  (5)仮想マシンを見つけるために、コマンドを実行します。cdは/home/px2/envdm/springcloudV2.0/
    コマンドを実行します。ドッカー作曲アップ-d elasticsearch
  (6)試験ES:のhttp:/ /192.168.115.158:9200バージョン番号は、環境を構成するために、成功の指示をES表示されます。

2.ビルドlogstash
  (1)材料logstashので開き
  容器に入るlogstash:ステップ
  VI /usr/local/logstash-6.3.0/config/logstash.yml(IPコネクタES修飾)である
  ように変更する:
  http.host:「0.0 .0.0 "
  xpack.monitoring.elasticsearch.url:http://192.168.115.158:9200
  xpack.monitoring.elasticsearch.username:弾性が
  xpack.monitoring.elasticsearch.password:changemeをは
  xpack.monitoring.enabled:偽

  (2)VI /usr/local/logstash-6.3.0/bin/logstash.conf
  変更パラメータIP及び添加
  INPUT {
    カフカ{
      bootstrap_servers => [ "192.168.115.158:9092"]
      GROUP_ID =>「TEST-consumer-グループ"
      auto_offset_reset =>"最新"
      consumer_threads =>。5
      decorate_events => trueに
      トピック=> [" DM "]
      タイプ=>" BHY "
    }
  }

  出力{
    elasticsearch {
      ホスト=> [ "192.168.115.158:9200"]
      インデックス=> "dmservice - %{+ YYYY.MM.DD}"
    }
    STDOUT {
      コーデック=> json_lines
    }
  }

3.修正kibanaプロファイル
  (1)発見elasticsearch.url:と"http://192.168.115.158:9200"に変更
  (2)訪問します。http://192.168.115.158:5601いいえ何の説明の成功ではありませんデータをES 。

4.kafka
  (1)找到server.propertiesの
  リスナー= PLAINTEXT://0.0.0.0:9092
  advertised.listeners = PLAINTEXT://192.168.115.158:9092

  (2)Startコマンドカフカ
  ./kafka-console-consumer.sh --bootstrapサーバ127.0.0.1:9092 --topic DM --from -beginning

おすすめ

転載: www.cnblogs.com/lingboweifu/p/11809540.html