ELKログ分析システム 

 

ELKログ分析システム
---------------------------------------------- ----------
elasticsearchポート9200
試験環境:
     ホスト名のIPアドレス備考
(少なくとも)192.168.200.67ヘラジカ、ノード1を2Gメモリ
192.168.200.68ヘラジカ、NODE2(少なくとも)2Gメモリ
192.168.200.69アパッチ1Gメモリ
- -------------------------------------------------- ---------------------
ビルドELK環境:
複数Elasticsearchノードを作成する目的は、実際の運用環境に格納されたデータの複数のコピー、ノードの数でありますこの実験では、以上であってよく、そしてノード1ノード集中配置にelasticsearch kibana、展開が分散されてもよい、すなわちLogstashは、elasticsearch、kibanaは異なるサーバー上に配備されています。
会社の内部では、いくつかの放送会社として、マップ会社は、より一般的に使用されます。
-------------------------------------------------- -----------------
準備をするための環境
のファイアウォールのセキュリティオフすべてのマシンを
iptablesの-F
0 setenforceの
systemctl停止firewalld
[1] ELKは、ローカル/ etc / hostsファイルによって達成2ノードの名前解決に配置
--------
67 ELK-ノード1ホスト・コンフィギュレーション・
ホストエルク・ノード1
はbash
のVimの/ etc /ホスト名
ノード1-エルク
のvim / etc / hostsファイル
192.168.200.67 elik-node1の
192.168.200.68 elik-node2で
保存して終了
---------
68ホストELK-ノード2のconfigureに
ホスト名node2のElk-
のbash
のvimの/ etc /ホスト名
エルク、ノード2
vimの/ etc / hostsファイル
192.168.200.67 elik-node1の
192.168.200.68 elik-node2で
保存して終了
---------
2つのヘラジカノードJava環境を装備した[2]
のjava -version //システムは、環境が付属していますそれも可能です。
[3]ソフトウェアのインストールelasticsearch
      [3.1] elasticsearchここでRPMパッケージを装着することにより、YUM、ソース・インストールを介してインストールすることができ、2つのヘラジカノードノードはインストールする必要がある
------- 67ホストオペレーティングを------
RPM -ivh elasticsearch -5.5.0.rpm
------- 68ホストオペレーティング------
RPM -ivh elasticsearch-5.5.0.rpm
----------------
       [3.2 ]システムを構成するためのコマンドを実行し、自動起動を設定することにより、サービス、2つのノード行う必要があり、メインの設定ファイルを変更
------- 67ホストオペレーティング------
systemctl-デーモンリロードは
elasticsearch.serviceを有効systemctl
/etc/elasticsearch/elasticsearch.yml Vimの
 17 cluster.name:マイエルククラスタクラスタ#名、同じ名前、同じクラスタに割り当てられます
 ヘラジカ、ノード1#名ノード:23 node.name
 33 path.data:/データ/データ・ストレージ・パスは#elk_data
 は/ var / log /:37 path.logs elasticsearch#のログ保存パス
 の開始がfalse#ないときにロックメモリ:43 bootstrap.memory_lockを
 55 network.host:IPアドレス0.0.0.0#サービス・バインディング、0.0.0.0全ての代わりに
 59たhttp.port:9200#リスナーポートを指定する
 68 discovery.zen.ping.unicast.hosts:[ "ヘラジカ-ノード1 "、 「エルク・ノード2」]#クラスタインスタンス名
##ノート(ボトムライン、追加ノード1とノード2の内容が異なる)
 http.cors.enabled:#は、真の地域間の伝送になっ
 http.cors.allow-起源:「* 「#クロス地域ドメインのアドレスにアクセスできるように
保存し、終了する
------ ------- 68ホストオペレーティングを
systemctl-デーモンリロードが
elasticsearch.service有効systemctl
vimの/etc/elasticsearch/elasticsearch.yml
 17 cluster.nameを:クラスタ・エルク-私の
 23はnode.nameです:エルク-node2の
 33はPath.Dataです:/データ/ elk_data
 37 [path.logs:は/ var / log / elasticsearch
 43をbootstrap.memory_lockです:falseに
 55 network.host:0.0.0.0
 たhttp.port 59:9200
 68 discovery.zen.ping.unicast.hosts:[「エルク・ノード1」、「エルク・ノード2」]
保存して終了する
[4] 2ノードのデータ・ストレージ・パスを構築し、許可
------ -67ホストオペレーティング------
ます。mkdir -p /データ/ elik_data
のchown elasticsearch:elasticsearch /データ/ elk_data /
-------ホストOS 68 ------
ます。mkdir -p /データ/ elik_data
のchown elasticsearch:elasticsearch /データ/ elk_data /
[5] 2ノードノードは、elasticsearchを起動して正常に開いた場合を参照します。
------- 67ホストオペレーティング------
systemctlスタートelasticsearch.service
netstatの-antp | 9200 grepする
#を最初に決定する段階であれば、ない間違った状況下で開始しますが、ポート、しばらく待機してからフィルタテスト何もありません何
のnetstat -antpは| 9200 grepする
------ ------- 68ホストオペレーティングを
systemctlスタートelasticsearch.service
9200をgrepする| netstatの-antp
外部サービスのelasticsearchデフォルトHTTPポートは9200で、ノード間の相互作用は、TCPポート9300で
アクセスノードにブラウザを介して、[6]、ノードは、情報を見ることができます
192.168.200.67:9200
192.168.200.68:9200
[7]ビュークラスタ健康状態は、緑色、緑色のように見ることができる
http://192.168.200.67:9200/_cluster/health?pretty
http://192.168.200.68:9200/_cluster/state?pretty
、クラスタの状態が直感的ではない上記参照[8]クラスタ元のインストールの管理を容易にするために、インストールelasticsearchヘッドプラグは非常に遅くなり、ここでバイナリインストールがある
   (JavaScriptランタイム環境クロームV8エンジンに基づいて)[8.1]インストールelasticsearch頭プラグは、スタンドアロンサービスとしてインストールする必要があり、あなたはNPMを必要としますコマンド2つのノードが作動しなければならない
67のホストオペレーティング------ -------
タール-XFノードv8.2.1-Linuxの-x64.tar.gz -Cは/ usr / local /
LN -s / USR /ローカル/ノード-v8.2.1-のx64-Linux- / binに/ノードの/ usr / binに/ノード
LN /usr/local/node-v8.2.1-linux-x64/bin/npm -sは/ usr / local /ビン
-vノード   
v8.2.1にバージョン番号を確認することができます
-v NPM
5.3.0ビューのバージョン番号へ
------- 68ホストオペレーティング------
タール-XFノードv8.2.1-Linuxの-x64.tar.gz -Cは/ usr / local /
LN - /usr/local/node-v8.2.1-linux-x64/bin/node Sは/ usr / binに/ノード
LN /usr/local/node-v8.2.1-linux-x64/bin/npm -sは/ usr / local / binに
ノード-v   
ビューにv8.2.1#バージョン
-v NPM
ビューへ5.3.0#バージョン
------------------
   [8.2]独立インストールelasticsearchヘッドノードとしてそして背景に、
それは、ヘッドelasticsearchにサービスを提供するポート9100上のローカルWebサーバの実行を開始します
------- 67ホストオペレーティング------
-CタールXF elasticsearch-head.tar.gz構成ファイル内の/データ/ elk_data /#変更データelasticsearch位置インストールする前に、
CD /データ/ elk_data /
のchown -R&LT elasticsearch:elasticsearch elasticsearchヘッド/
CD /データ/ elk_data / elasticsearch-ヘッド/
NPMのインストール
#エラーを無視することができ、正常な
CD _SITE /
PWD
BAK {。} CPのapp.js
Vimのapp.js
4329 this.base_uri = this.config.base_uri || this.prefs.get(「アプリ-base_uri ")||" http://192.168.200.67:9200「; ##彼らの変更IP
セーブで終了
NPM RUNスタート&
systemctlスタートelasticsearch.service
netstatの-anptを| grepを9100
------- 68ホストオペレーティング------
タールhead.tar.gz -C elasticsearch XF /設置位置elasticsearch前にコンフィギュレーションファイル内のデータ/ elk_data /#変更データ
CD /データ/ elk_data /
のchown -R&LT elasticsearch:ヘッドelasticsearch elasticsearch /
CD /データ/ elk_data / elasticsearchヘッド/
NPMインストール
#エラーを無視することができる、正常な
CD _SITEを/
PWD
CPのapp.js {。} BAK
app.js Vimの
4329 this.base_uri = this.config.base_uri || this.prefs.get( "アプリケーション-base_uri")|| "http://192.168.200.68:9200"; ##彼らの変更IP
保存を終了
NPM RUNスタート&
systemctlスタートelasticsearch.service
netstatの-anpt | grepを9100
   [8.3]ブラウザテスト
http://192.168.200.67:9100
http://192.168.200.68:9100
    [8.4]ブラウザテストページを挿入しますテストインデックスは、テストのインデックスデモ、タイプのインデックス、あなたは一般的ではない仕事をし、正常に作成され、あなたが単一のマシン上で作成することができます見ることができ、我々は準備する必要があり、あなたが作っ開発する
------- 67ホストを操作------
カール-XPUT 'はlocalhost:9200 /インデックス-デモ/テスト/ 1プリティ&プリティ?' -H '種類-コンテンツ:ファイルアプリケーション/ JSON' -d「{ "ユーザー": "zhangsan"、「MESG 「:」こんにちは世界「} '
    、ブラウザのページを更新し、[8.5]は、あなたが見ることができる
http://192.168.200.67。 9100
[9]インストールlogstash
logstash一般的に、この実験では、Apacheサーバに配備logstashに、サーバーログでその展開を監視する必要があり、ノード1上のログ情報を収集し、正式な展開の前に、elasticsearchに送信し、デプロイlogstash用のApacheサーバー、 logstashまた、Java環境が必要です。
[9.1]はノード1-エルクに取り付けられた
------- 67ホストオペレーティング------
RPM -ivh logstash-5.5.1rpmの
systemctlスタートlogstash.service
LN -sを/ usr / share / logstash / binに/ logstashは/ usr / local /ビン/
[9.2] logstashコマンド
Linuxシステム配管コマンドXXXに幾分類似収集処理及び出力ログへのパイプラインのモードlogstash利用| CCC | DDD、XXX実行完成行うCCC、次いでDDD実行
3段を含むlogstash、で
入力された入力
-f:logstash設定ファイルをプロファイルに基づいて、コマンドで指定できる構成logstash
-e:文字列が続く場合(logstashように配置されていてもよいです" 「デフォルト入力STDIN、出力としてSTDOUT)として
-t:テストコンフィギュレーションファイルが正しいこと、次いで終了
------- 67ホストオペレーティングを------
logstash -e「入力{{}}出力STDIN {STDOUT {}}
###警告メッセージが成功を示すために表示され、上記のエラーメッセージが入力中に無視することができます#9600、制御できない表示されます
www.baidu.com
www.sina.com.cn
出口へ最後のCTRL + C
-------- ----
logstash -e '標準入力、入力{{出力} {} {CODEC学生=> rubydebug}}
#9600 は、入力を行う、成功が発生示し
www.baidu.com
www.sina.com.cn
--- 67 ----ホストオペレーティングは------
logstash -e 'STDIN入力{{出力} {} {ホストelasticsearch => [ "192.168.200.67:9200"]}}'
内部#3入力ライン
WWW。 baidu.com
www.sina.com.cn
www.google.comの
[10]ブラウザで検出
192.168.200.67:9100  
//もしそこwww.baidu.com参照
www.sina.com.cn
www.google.comの情報へのアクセス
[11] logstashプロファイル用途
:logstashプロファイルは、3つの部分、入力、出力、および次のように標準の設定ファイルフォーマットがあるので、ユーザは、フィルタのみを追加する必要があるから本質的になる
{..}入力。
フィルタ...} {
...出力} {
毎にセクション、またはあなたは、たとえば、私は2つのログファイルのソースを指定したい場合は、複数のアクセス方法を指定することができ、あなたが書くことができます:
INPUT {
}タイプ=>「のsyslog」のファイル{パスは=>「の/ var / log / messagesに」
ファイルをパス= {> "は/ var / log / Apacheの/のaccess.log"タイプ=> "アパッチ"}
}
[12]、システム構成ログが収集
/etc/logstash/conf.d/ディレクトリにあるsystem.confう、logstash起動時にロードされます
------- 67ホストオペレーティング------
CDの/etc/logstash/conf.dの
あるsystem.confのvimの
INPUT {
 ファイル{
     パス=> "の/ var / log / messagesに"
          タイプの=> "システム"
     START_POSITION => "始まり"
  }
}
出力{
 elasticsearch {
サービス-lnptのnetstat | grepの5601





















[15]は、ブラウザでアクセス
192.168.200.67:9100 //ビューインデックス
http://192.168.200.67:5601が// kibanaログ解析結果を参照してください
--------------- ----------
[16] apacheのアクセスログ
------- -------------操作ホスト69
 注:ログを収集しているlogstashをインストールする必要があります
-Fは、iptablesの
setenforce 0
systemctl STOPのfirewalldの
ホスト名のApache
bashの
yumのhttpdの-Yインストールし
たJava -version
RPM -ivh logstash-5.5.1.rpmを
有効systemctl logstash.serviceの
systemctlスタートhttpd.service
CD /etc/logstash/conf.d/
Vimをapache_log.confの
INPUT {
 ファイル{
       パス=> "は/ var / log /のhttpd / access_logの" #Apacheのアクセスログ指定した場所の
           タイプ=> "アクセス"
       START_POSITION => "開始"
 }
 ファイルを{
          パス=> "は/ var / log /のhttpd / error_logに"
          TYPE => "エラー"
          START_POSITION => "開始"
    }
}
 出力{
 なら[タイプ] == "アクセス" {
   elasticsearch {
  ホスト=> [ "192.168.200.67:9200"]
  インデックス=> "apache_access - %{+ YYYY.MM.DD}"
        }
   }
    [タイプ]もし== "エラー" {
   elasticsearch {
  ホスト=> [ "192.168.200.67 :9200" ]
  インデックス=> "apache_error - %{+ YYYY.MM.DD}"
       }
   }
      }
保存は終了して
は、/ usr / share / logstash / binに / logstash -f apache_log.conf
##、などが表示されます9600
apacheのブラウザでアクセス
192.168.200.69が
192.168.200.67:9200を見るために多くのではApacheのアクセスログよりもございますが
kibana内のapacheにインデックスを追加します

------------------実験の完了!-------------
 
 

 

おすすめ

転載: www.cnblogs.com/elin989898/p/12011113.html