ログ収集システムのアーキテクチャと展開プラットフォームELK-

注:すべてのソフトウェアはに統一されています  http://op.jieyue.com/softdown/ELK/

1.システムアーキテクチャ


2.logstash-インストール

バイナリソフトウェアインストールパッケージ、解凍開始

ソフトウェアのインストールパス:は/ usr / local / logstash

入力{
Redisの{
タイプ=> "H3C"
ホスト=> "127.0.0.1"
ポート=> 6379
パスワード=> "XXXX"
DB => 1
DATA_TYPE => "リスト"
キー=> "H3C"は
}

Redisの{
タイプ=> "シスコ"
ホスト=> "127.0.0.1"
ポート=> 6379
パスワード=> "XXXX"
DB => 4
DATA_TYPE => "リスト"
キー=> "シスコ"
}

Redisの{
タイプ=> "NetFlowの"
ホスト=> "127.0.0.1"
ポート=> 6379
パスワード=> "XXXXX"
DB => 2
DATA_TYPE => "リスト"
キー=> "NetFlowの"
}

Redisの{
タイプ=> "のsFlow"
ホスト=> "127.0.0.1"
ポート=> 6379
パスワード=> "XXXX"
DB => 3
DATA_TYPE => "リスト"
キー=> "のsFlow"
}

Redisの{
タイプ=> "nginxのログ"
ホスト=> "127.0.0.1"
ポート=> 6379
パスワード=> "XXXXX"
DB => 10
DATA_TYPE => "リスト"
キー=> "nginxのログ"
}

}

出力{
もし[タイプ] == "H3C" {
elasticsearch {
ホスト=> [ "10.50.194.x:9200"、 "10.50.194.x:9200"、 "10.50.194.x:9200"]
インデックス= > "%{タイプ} - %{+ YYYY.MM.DD}"
}
}

もし[タイプ] == "シスコ" {
elasticsearch {
ホスト=> [ "10.50.194.x:9200"、 "10.50.194.x:9200"、 "10.50.194.x:9200"]
=>「インデックス%{タイプ} - %{+ YYYY.MM.DD}」
}
}


もし[タイプ] == "NetFlowの" {
elasticsearch {
ホスト=> [ "10.50.194.x:9200"、 "10.50.194.x:9200"、 "10.50.194.x:9200"]
インデックス=> " %{タイプ} - %{+ YYYY.MM.DD}」
}
}

もし[タイプ] == "のsFlow" {
elasticsearch {
ホスト=> [ "10.50.194.x:9200"、 "10.50.194.x:9200"、 "10.50.194.x:9200"]
=>「インデックス%{タイプ} - %{+ YYYY.MM.DD}」
}
}


}

3.ESインストール

ソフトウェアパッケージのバイナリのインストール、開始解凍(3つのノードは、スライス5を格納し、データの管理を担当している、2つのコピー)

ソフトウェアのインストールパス:は/ usr / local / elasticsearch

猫elasticsearch.yml | egrepの-v "^#| ^ $"
cluster.name:クラウド-OPSは
node.name:ノード-138
path.data:/データ/ esdata
path.logs:/データ/ eslogsを
network.host:10.50 .194.x
たhttp.port:9200
discovery.zen.ping.unicast.hosts:[ "10.50.194.x"、 "10.50.194.x"、 "10.50.194.x"]
http.cors.enabled。真
http.cors.allow起源:「*」

#headプラグインのインストール

1.nodeインストール
yumをインストールXZ -y
タール-xfノード-v6.11.0-linuxの-x64.tar.xz
のvi / etc / profileを
輸出PATH = $ PATH:/usr/local/node-v6.11.0-linux-x64 /置き場

CDは/ usr / local /
gitのクローン  https://github.com/mobz/elasticsearch-head.git
NPMインストールイサキ--registry = https://registry.npm.taobao.org
VI Gruntfile.js 92
ホスト名: " 0.0.0.0' 、
##
CDは/ usr / local /のelasticsearchヘッド/ node_modules
NPM作男-contribのクリーンインストール--registry = https://registry.npm.taobao.org
NPMインストール作男-のcontrib-連結--registry = https://registry.npm.taobao.org
NPMインストール作男-contribのウォッチ--registry = https://registry.npm.taobao.org
NPMインストール作男-contribのコネクト・--registry = https://でレジストリ.npm.taobao.org
NPM作男-contribのコピーをインストール--registry = https://registry.npm.taobao.org
NPMインストール作男-のcontrib-ジャスミン--registry = https://registry.npm.taobao.org

#startの
CDは/ usr / local /のelasticsearchヘッド/ node_modules /イサキ/ binに
作男サーバーnohupを&

4.kibana 安装

バイナリソフトウェアインストールパッケージ、解凍開始

ソフトウェアの場所:は/ usr / local /のkibana

猫kibana.yml | egrepの-v "^#| ^ $"
はserver.port:9300
server.host: "10.50.194.x"
elasticsearch.url: " のhttp://10.50.194.x:9200 "
kibana。インデックス: ".kibana"
logging.dest:/data/kibana-logs/kibana.log
tilemap.url:「http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x= { X}&Y = {Y}&Z = {Z }

5.サーバ情報

IP ユーザー名   機能
10.50.194.138 Jypp   これは
10.50.194.139 Jypp   これは
10.50.194.140 Jypp   これは
10.50.194.141 Jypp   logstashリピート  
10.50.194.142 Jypp   logstash kibana 
10.50.194.204 Jypp   logstash、ES-データ
10.50.194.205 Jypp   logstash ES-データ
10.50.194.161 Jypp   logstash

おすすめ

転載: www.cnblogs.com/litzhiai/p/12102593.html