ELK実際のノート

I.はじめに

Elasticsearch：分散型検索エンジン。管理などが容易な、信頼性の高い、高度な拡張性を持ちます。これは、フルテキスト検索、検索、および構造解析のために使用することができ、これら三つを組み合わせることができます。ElasticsearchはJavaで開発されたLuceneをベースに、現在最も広く使用されているオープンソースの検索エンジンの一つ、ウィキペディア、StackOverflowの、Githubにので、独自の検索エンジンを構築する上で。

elasticsearchでは、全てのノードのデータが同じです。

Logstash：データ収集処理エンジン。後の使用のために格納され、次いで支持体動的様々なデータソースから収集されたデータ、およびデータフィルタリング、分析、リッチ、統一フォーマットおよびその他の操作、および。

Kibana：可視化プラットフォーム。それは、検索にElasticsearchに格納されたインデックスデータを表示することができます。簡単にグラフ、表、マップ、ディスプレイを使用してデータを分析するために使用します。

II。インストール

ドッキングウィンドウの下にインストールされたWindows

1. elasticsearch

＃Elasticsearchダウンロードミラードッキングウィンドウプルdocker.elastic.co/elasticsearch/elasticsearch:7.0.0番号elasticsearchコンテナを作成して実行

＃5601はデフォルトのポートkibanaで、9200はデフォルトのポートESで、シングルノード・モードを指定discovery.type

ドッキングウィンドウの実行-d --name ES -p 9200：9200 -p 9300：9300 -e "discovery.type =単一ノード" docker.elastic.co/elasticsearch/elasticsearch:7.0.0

注：また、9200のポートelasticsearch直接ポストのデータを使用することができます

2. kibana

（可能なWindows版）

＃作成して実行kibana

ドッキングウィンドウプルdocker.elastic.co/kibana/kibana:7.0.0

＃-E ELASTICSEARCH_URLは、指定されたアドレスをES - ネットワークは、ESネットワークを指定するには、ESを借りることができます5601ポートのドッキングウィンドウの実行-it -d -e ELASTICSEARCH_URL =のhttp開く：// localhostを：9200 --name kibana -p 5601を： 5601kibana：タグ

https://www.elastic.co/cn/products/kibana

注：私はいつものように、単にWindowsのバージョンを取得し、インストール後に問題を抱えています

https://www.elastic.co/cn/downloads/kibana

ダウンロードしたら、ビン\ kibana.batに直接実行

3. Logstash（例えばWindows版）

https://www.elastic.co/cn/downloads/logstash

開始スクリプトの例：

logstash -f logstash.conf

3.1。設定

  1入力{
   2つの 
  3 Redisの{
   4  
  5種類=> " JasonLog "
   6  
  7ホスト=> " 10.10.14.54 "
   8  
  9＃パスワード=> '123456'
 10  
11ポート=> " 6379 "
 12  
13のdb => " 0 "
 14  
15 DATA_TYPE => " リスト "
 16  
17キー=> " EXCEPTIONLOG "
18である 
。19 }
 20  
21れる }
 22である 
23れる＃フィルタ
24  
25  フィルタ {
 26  
27のmutate {
 28  
29 GSUB =>
 30  
31＃置き換える全てスラッシュとアンダー
 32  
33＃ " メッセージ "、 " \\\" " " \" "、
 34  
35 " メッセージ "、 " \ \\」 " " \" "
 36  
37 ]
 38  
39 }
 40  
41日{
 42  
43  試合 =>[」CREATETIME「」YYYY-MM-DD HH：MM：SS.SSS CREATETIME形式は、それがそうすることを、デフォルトのターゲット@timestampを指し何交換、交換に行く場合はここで「]＃は、背面と一致しているのですか？ client_timeの@timestamp時間更新時刻
 44である 
45 }
 46は、 
47 }
 48  
49出力{
 50  
51である IF [タイプ] == " JasonLog " {
 52は 
53である elasticsearch {
 54である 
55ホスト=> [ " http://10.8.100.88:9200 "]
 56は 
57れるインデックス=>" jason_log "
 58  
59 }
 60  
61である }
 62である 
63れます }
 64