Visão geral
No dia a dia da operação e manutenção dos empreendimentos, existem diversos tipos de equipamentos, diferentes formatos de logs, grande volume de logs e um grande número de alarmes. Estamos diante de como armazenar esses logs de forma unificada? Como visualizar e analisar logs massivos? Dispositivos de log tradicionais não podem atender às necessidades de acesso a dados em diferentes formatos de log e podem analisar ainda mais os logs coletados.Finalmente selecionamos Honghu, que pode resolver perfeitamente esses pontos problemáticos.
Este artigo coleta e analisa logs de equipamentos de rede para ajudar o pessoal de operação e manutenção a localizar rapidamente falhas e problemas de segurança.
Meta de monitoramento
Colete logs de dispositivos de rede, como switches e firewalls, na infraestrutura
Monitore a segurança de login de dispositivos de rede
Monitore a segurança da configuração do dispositivo de rede
Monitore o status da interface do dispositivo de rede
Descrição da arquitetura
Descrição do componente
Equipamentos de rede: switches, roteadores, firewalls e outros equipamentos que suportam o modo syslog
Plataforma Honghu: Vector é usado para coletor de dados. Conjuntos de dados são usados para armazenar dados diferentes. Consulta, usada para consultar dados em um conjunto de dados.
Processo de importação de dados
O dispositivo de rede envia dados para a plataforma Honghu através do syslog; depois que o Vector coleta os dados, ele os armazena no conjunto de dados para fornecer dados para consulta.
Configuração de importação de dados Syslog
Observe que a plataforma Honghu precisa ter acesso à Internet.
Configurar a coleta de dados Syslog em Honghu
Instalar vetor
Verifique a versão do vetor após a instalação para confirmar se a instalação foi bem-sucedida.
Após a instalação do vetor, ao executar o vetor diretamente, o sistema irá primeiro procurar o comando em /usr/bin. Se não estiver neste diretório, não será encontrado. Neste momento, precisamos criar um arquivo de link para esses comandos que não podem ser encontrados e vincular a /usr/bin.
(Para códigos específicos, junte-se ao grupo de intercâmbio técnico Honghu e obtenha-os na base de conhecimento)
Faça login na plataforma Honghu, gerenciamento de dados > Crie um novo conjunto de dados
Edite o nome da fonte de dados, selecione o intervalo do conjunto de dados como a "switch" criada acima e ela será habilitada.
Crie o script syslog.toml, os campos precisam ser ajustados
endereço = "0.0.0.0:514": 0.0.0.0 significa receber o syslog enviado por todos os hosts, 514 significa a porta de recebimento (o padrão do syslog é 514)
mode = "udp": Indica o protocolo para recebimento do syslog. O padrão do syslog é udp)
._target_table = "switch": indica o nome do conjunto de dados que você criou acima
endereço = "172.20.6.111:9092": IP de Honghu e porta correspondente
Execute o script syslog modificado e mantenha-o em execução.
(Para códigos específicos, junte-se ao grupo de intercâmbio técnico Honghu e obtenha-os na base de conhecimento)
O login no switch aciona o syslog (nota: o login no switch e a inserção de comandos acionarão automaticamente o syslog). Faça login na plataforma Honghu para verificar se os dados foram importados para o conjunto de dados do switch. Conforme mostrado abaixo, a contagem de eventos mostrou que os dados foram importados com sucesso.
Consulte os dados importados para o conjunto de dados do switch por meio de vetor
Syslog de configuração de dispositivo de rede
Configuração do syslog do switch H3C
Os logs precisam ser ativados e enviados para a plataforma Honghu. Por padrão, o syslog envia logs pela porta udp514
Use o host com o endereço IP 172.20.6.111 como host de log e use o canal loghost para enviar informações (opcional, o padrão do sistema é
canal loghost), use local5 como ferramenta de gravação do host de log.
Observação: você pode especificar o endereço de origem para envio de logs aqui. Não é necessário especificá-lo. Geralmente, para conveniência de identificação, é recomendável especificá-lo.
Nota: Se desejar enviar logs pela porta de gerenciamento, já que a porta de gerenciamento está configurada com VPN-Instance, será necessário especificar VPN-Instance.
Configurar regras de saída: permitir que todos os módulos e informações de log com níveis maiores ou iguais aos informativos sejam enviados para o host de log.
O comando de configuração real que tenho aqui
Configuração do syslog do switch Cisco
Os comandos de configuração nos equipamentos de rede Cisco são geralmente:
No modo global <config>
O comando de configuração real que tenho aqui
Extração de campo
Como os switches H3C têm seu próprio formato de log específico, o Honghu não extrairá todos os campos, portanto, os dados devem ser extraídos com base no formato de log dos switches H3C. A lógica da extração de campo é primeiro criar uma visualização por meio de instruções SQL. Depois que a visualização é gerada, podemos chamar diretamente os campos na visualização, e os logs reais ainda são armazenados no conjunto de dados original.
Vamos primeiro analisar o formato de log dos switches H3C. O formato oficial do log de explicação é o seguinte:
Nossa análise real do formato do log, os campos que precisam ser extraídos
switch_syslog, aqui está o nome da visualização que precisa ser criada
No script switch._time a partir da sexta linha, switch refere-se ao conjunto de dados original que precisa extrair dados. Ele precisa ser substituído aqui de acordo com o nome do seu conjunto de dados.
Executado em consulta de alto nível, bem-sucedido
Na visualização, você pode ver a visualização do switch_syslog que criamos
Executamos a instrução de pesquisa para testar e podemos ver os campos que extraímos na parte vermelha.
Exibição de gráfico
Painel>Novo Painel
Criação concluída
Estatísticas de mudança de equipamento
Novo gráfico>Estatísticas de contagem de alterações de equipamentos
Selecione o tipo de gráfico: gráfico de pizza
Instrução de consulta: esta afirmação pode ser verificada primeiro na consulta para confirmar se o resultado da pesquisa é o que você deseja.
Intervalo de tempo: Escolha 30 dias, você pode ajustá-lo de acordo com sua situação
Após gerar o gráfico, é possível visualizar quais dispositivos tiveram sua configuração alterada e quantas vezes nos últimos 30 dias.
Objetivo: Por exemplo, se não houve manutenção no último mês e o dispositivo foi trocado muitas vezes, haverá anormalidades. Ao consultar quem fez login e o que fez, você pode determinar se esses comportamentos são normais e compatíveis.
Estatísticas de contagem de login do dispositivo
Novo ícone>Estatísticas de contagem de login do usuário
Selecione o tipo de gráfico: gráfico de barras
Instrução de consulta: esta afirmação pode ser verificada primeiro na consulta para confirmar se o resultado da pesquisa é o que você deseja.
Intervalo de tempo: Escolha 30 dias, você pode ajustá-lo de acordo com sua situação
Depois de gerar o gráfico, você pode ver quais dispositivos fizeram login quantas vezes nos últimos 30 dias.
Objetivo: Por exemplo, se não houve manutenção no mês passado e o dispositivo foi conectado muitas vezes, haverá anormalidades. Ao consultar quem fez login e o que fez, você pode determinar se estes os comportamentos são normais e compatíveis.
Gráfico de eventos de login do usuário
Novo ícone> Gráfico de eventos de login do usuário
Selecione o tipo de gráfico: tabela (como preciso exibir detalhes aqui, escolho o método de tabela)
Instrução de consulta: esta afirmação pode ser verificada primeiro na consulta para confirmar se o resultado da pesquisa é o que você deseja.
Intervalo de tempo: Escolha 30 dias, você pode ajustá-lo de acordo com sua situação
Após gerar o gráfico, você pode visualizar o horário específico, qual dispositivo e qual usuário efetuou login em qual IP.
Objetivo: Por exemplo, durante o horário de folga ou de folga, há exceções ao fazer login no dispositivo. Ao consultar quem fez login no dispositivo durante esse período, podemos determinar se esses comportamentos são normais e compatíveis.
Gráfico de alterações na configuração do dispositivo
Novo ícone> Gráfico de alterações na configuração do dispositivo
Selecione o tipo de gráfico: tabela (como preciso exibir detalhes aqui, escolho o método de tabela)
Instrução de consulta: esta afirmação pode ser verificada primeiro na consulta para confirmar se o resultado da pesquisa é o que você deseja.
Intervalo de tempo: Escolha 30 dias, você pode ajustá-lo de acordo com sua situação
Após a geração do gráfico, você pode visualizar o horário específico, qual usuário, qual dispositivo e qual comando foi executado
Objetivo: Por exemplo, durante o período sem manutenção ou fora de trabalho, alterar a configuração do dispositivo e consultar quem fez login no dispositivo durante esse período e quais configurações foram feitas, para determinar se esses comportamentos são normais e compatível.
declaração de pesquisa
Todos os termos de pesquisa neste artigo estão listados abaixo para referência
Dica: A parte do comando da instrução de pesquisa chamará o segmento de caractere extraído. Se o segmento de caractere não for extraído, um erro aparecerá.
renderizações
Após a criação do gráfico, selecionamos "Layout de grade" para otimizar e ajustar o layout do gráfico. O resultado final é o seguinte
