Este é o 14º dia da minha participação no desafio de atualização de agosto. Para detalhes do evento, consulte: Desafio de atualização de agosto
texto
Etapa 1: criar um usuário normal
Observação: o ES não pode ser iniciado pelo usuário root e deve ser instalado e iniciado por um usuário normal.
Aqui usamos o usuário hadoop para instalar nosso serviço es
Etapa 2: baixe e carregue o pacote compactado e descompacte-o
Baixe e carregue o pacote de instalação es para o servidor /opt/bigdata/soft node01 do servidor node01. Use o usuário es para executar os seguintes comandos
[hadoop@node01 ~]$ cd /opt/bigdata/soft/
[hadoop@node01 soft]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0.tar.gz
[hadoop@node01 soft]$ tar -zxf elasticsearch-6.7.0.tar.gz -C /opt/bigdata/install/
复制代码Etapa 3: modificar o arquivo de configuração
修改 elasticsearch.yml
O servidor node01 usa o usuário hadoop para modificar o arquivo de configuração
cd /opt/bigdata/install/elasticsearch-6.7.0/config/
mkdir -p /opt/bigdata/install/elasticsearch-6.7.0/logs/
mkdir -p /opt/bigdata/install/elasticsearch-6.7.0/datas
vim elasticsearch.yml
复制代码cluster.name: myes
node.name: node01
path.data: /opt/bigdata/install/elasticsearch-6.7.0/datas
path.logs: /opt/bigdata/install/elasticsearch-6.7.0/logs
network.host: 192.168.52.100
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
复制代码Modificar jvm.option
Modifique o arquivo de configuração jvm.option, ajuste o tamanho da memória do heap do jvm node01 use o usuário es para executar os seguintes comandos para ajustar o tamanho da memória do heap do jvm, cada pessoa ajusta de acordo com o tamanho da memória do seu próprio servidor
cd /opt/bigdata/install/elasticsearch-6.7.0/config
vim jvm.options
-Xms2g
-Xmx2g
复制代码Etapa 4: Distribuir o pacote de instalação para outros servidores
node01 usa o usuário es para distribuir o pacote de instalação para outros servidores
cd /opt/bigdata/install/
scp -r elasticsearch-6.7.0/ node02:$PWD
scp -r elasticsearch-6.7.0/ node03:$PWD
复制代码A quinta etapa: node02 e node03 modificam o arquivo de configuração es
Node02 e node03 também precisam modificar o arquivo de configuração es node02 usa o usuário hadoop para executar o seguinte comando para modificar o arquivo de configuração es
cd /opt/bigdata/install/elasticsearch-6.7.0/config/
vim elasticsearch.yml
复制代码cluster.name: myes
node.name: node02
path.data: /opt/bigdata/install/elasticsearch-6.7.0/datas
path.logs: /opt/bigdata/install/elasticsearch-6.7.0/logs
network.host: 192.168.52.110
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
复制代码node03 usa hadoop
cd /opt/bigdata/install/elasticsearch-6.7.0/config/
vim elasticsearch.yml
复制代码cluster.name: myes
node.name: node03
path.data: /opt/bigdata/install/elasticsearch-6.7.0/datas
path.logs: /opt/bigdata/install/elasticsearch-6.7.0/logs
network.host: 192.168.52.120
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
复制代码Etapa 6: Modifique a configuração do sistema para resolver o problema na inicialização
Como os usuários comuns agora são usados para instalar o serviço es, e o serviço es tem mais requisitos de recursos no servidor, incluindo tamanho de memória, número de threads etc. Portanto, precisamos desatar as restrições de recursos para usuários comuns
Resolva o problema de inicialização 1: o número máximo de arquivos abertos para usuários comuns é limitado
Descrição da mensagem de erro do problema:
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
复制代码O ES precisa criar um grande número de arquivos de índice e abrir um grande número de arquivos do sistema, então precisamos aumentar o limite do número máximo de arquivos abertos no sistema linux, caso contrário, o ES lançará um erro em três máquinas. es para executar o seguinte comando para desbloquear o arquivo Data Restrictions
sudo vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
复制代码Resolva o problema de inicialização 2: limite o número de threads de inicialização para usuários comuns
Três máquinas executam os seguintes comandos para abrir o número máximo de arquivos
sudo vi /etc/sysctl.conf
vm.max_map_count=655360
fs.file-max=655360
复制代码Execute o seguinte comando para entrar em vigor
sudo sysctl -p
复制代码Nota: Depois que os dois problemas acima forem modificados, certifique-se de reconectar ao Linux para entrar em vigor. Feche a ferramenta secureCRT ou XShell e reabra a ferramenta para se conectar ao linux
Após reconectar, execute o seguinte comando, o resultado está pronto para iniciar o ES
[hadoop@node01 ~]$ ulimit -Hn
131072
[hadoop@node01 ~]$ ulimit -Sn
65536
[hadoop@node01 ~]$ ulimit -Hu
4096
[hadoop@node01 ~]$ ulimit -Su
4096
复制代码Etapa 7: iniciar o serviço ES
As três máquinas usam o usuário hadoop para executar o seguinte comando para iniciar o serviço es
nohup /opt/bigdata/install/elasticsearch-6.7.0/bin/elasticsearch 2>&1 &
复制代码Após a inicialização ser bem sucedida, o jsp pode ver o processo do serviço de es e acessar a página
Pode ver algumas informações depois que o es é iniciado
Observação: se algum serviço de máquina falhar ao iniciar, vá para o caminho /opt/bigdata/install/elasticsearch-6.7.0/logs de qual máquina visualizar o log de erros