"Arquitectura de Internet" Construcción del Clúster ELK

Hablando de despliegue, realmente necesito prestar atención aquí. Cuando me desplegué por primera vez, encontré muchos hoyos, y les diré a todos que eviten encontrarlos cuando me despliegue.

(1) Cómo construir rápidamente un entorno ELK estable

• búsqueda elástica 5.6.4 + kibana5.2.0 + logstash5.6.3

El entorno en línea es relativamente estable. experto.

• Instalación de JDK1.8

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
tar -zxvf jdk*
cd jdk*
pwd
echo "export JAVA_HOME=/opt/jdk1.8.0_11" >> /etc/profile
echo "export PATH=$""JAVA_HOME/bin:$""PATH" >> /etc/profile
source /etc/profile
复制代码

• ES

Muchas de las versiones anteriores eran ES 2. X y 5. X. Hay grandes diferencias y hay diferencias en las funciones utilizadas. 2.X se ha considerado durante demasiado tiempo en 2001 y 5.6 es todavía relativamente nuevo. El JDK compatible es 1.8, ES recomienda no usar demasiado nuevo ni demasiado antiguo. Lo más difícil de instalar en ELK es ES.

cd /opt/
tar -zxvf elasticsearch-5.6.4.tar.gz 
复制代码

#修改配置
vi  config/elasticsearch.yml 
cluster.name : my-application
node.name : node-1
network.host : 0.0.0.0
http.port : 9200
复制代码

El núcleo en ELK, debe prestar atención al iniciar, porque es no puede iniciar la cuenta raíz, por lo que debe agregar una cuenta nuevamente, soy aplicaciones aquí

adduser apps
passwd apps
#密码设置成123
复制代码

sudo vi /etc/security/limits.conf
#添加这些内容，注意这里面的apps这个名称是根据自己定义的来修改的用户名。
apps hard nofile 65536
apps soft nofile 65536
复制代码

vi /etc/security/limits.d/20-nproc.conf
#添加这些内容
* soft nproc 1024
#修改为
* soft nproc 2048
复制代码

vi /etc/sysctl.conf 
#添加下面配置
vm.max_map_count=655360
#执行
sysctl -p
复制代码

aplicaciones agregar permisos

chown -R apps:apps /opt/elasticsearch-5.6.4
复制代码

iniciar ES

./bin/elasticsearch
复制代码

Complemento de Google: cabeza de búsqueda elástica

• instalación de logstash

descomprimir

 tar -zxvf logstash-5.6.3.tar.gz 
复制代码

Construir en el directorio de configuración: logstash.conf

cd /opt/logstash-5.6.3/config
vi logstash.conf
复制代码

Haga un buen trabajo de entrada, filtro y salida. Entre ellos, la entrada es un archivo de registro que absorbe todos los sufijos de registro en el archivo de registros, el filtro es una función de filtrado y la configuración se puede personalizar. La configuración de salida se importa a hosts como 127.0.0.1: 9200 elasticsearch, un índice por día. start_position es la posición de escucha, el valor predeterminado es final, es decir, si un archivo no registra su información de lectura, comenzará a leer desde el final del archivo, es decir, solo leerá el contenido recién agregado. Para algunos tipos de registros de seguimiento actualizados, suele ser suficiente usar end directamente; por el contrario, begin se leerá desde el encabezado de un archivo. Sin embargo, si se graba la información de lectura del archivo, no se leerá desde el principio. La información de lectura de reinicio no se perderá.

Si es el tomcat especificado, puede cambiar directamente la ruta al nombre de ruta de registro especificado.

input {

 file {

 type => "log"

 path => "/apps/svr/servers/logs/*.log"

 start_position => "beginning"

 }

}

output {

 stdout {

 codec => rubydebug { }

 }

 elasticsearch {

 hosts => "127.0.0.1"

 index => "log-%{+YYYY.MM.dd}"

 }

}

复制代码

Inicie logstash en el directorio bin, establezca el archivo de configuración en conf/logstash.conf, agregue e inicie en segundo plano.

cd 
./bin/logstash -f ../config/logstash.conf & 
复制代码

配置多个文件：./logstash -f ../config 指定启动目录，然后启动目录下配置多个*.Conf文件。里面指定不同的logpath。

• kibana-5.2.0-linux-x86_64 安装

tar -zxvf /opt/kibana-5.2.0-linux-x86_64.tar.gz
复制代码

配置kibana，文件中指定一下你需要读取的elasticSearch地址和可供外网访问的bind地址就可以了

cd /opt/kibana-5.2.0-linux-x86_64/bin
vi /opt/kibana-5.2.0-linux-x86_64/config/kibana.yml 
# elasticsearch.url: http://localhost:9200，如果是集群则配置master节点。
# server.host: 0.0.0.0
复制代码

配置启动

cd /opt/kibana-5.2.0-linux-x86_64/
 ./bin/kibana &

#如果需要删除指定端口的服务可以这样
# netstat -tlnp|grep 端口
复制代码

在/opt/logs/写入文件

echo 'ssssssssssss' >> log1.log
复制代码

访问：http://192.168.90.101:5601/

#填入log-*，create创建下就可以了。
log-*
复制代码

收集到的日志信息

PS：可以监听当前服务器的流量。电脑配置至少4G内存，ES默认是2G的内存，目前是使用的伪分布式的方式，多台电脑也是这样的。