visão geral
O armazenamento sempre desempenhou um papel importante na empresa e garantir a segurança dos dados é a principal prioridade. O armazenamento está funcionando corretamente? Nossos dados estão seguros? Os gerentes de armazenamento estão operando de maneira padronizada? São questões às quais as empresas precisam ficar atentas. Então, como garantir que esses problemas possam ser efetivamente resolvidos? Nossa escolha é a Plataforma de Dados Honghu. Através do armazenamento centralizado de logs de segurança, logs de operação e logs de alarme do Honghu, usando sua função de pesquisa, os problemas podem ser rapidamente localizados e exibidos por meio de suas ricas funções de relatório.
alvo de monitoramento
Monitore eventos de segurança, como logins de usuários
Monitore eventos operacionais, como o comportamento do usuário
Monitore eventos de alarme, como alarmes que armazenam status de execução
Realize a exibição do gráfico de monitoramento acima
instalar vetor
Como coletor de dados, o Vector pode receber os logs do syslog do dispositivo e encaminhá-los para a plataforma Honghu. O método de configuração vetorial refere-se ao seguinte:
Instalar vetor
Verifique a versão do vetor após a instalação para confirmar se a instalação foi bem-sucedida
Após a instalação do vetor, ao executar o vetor diretamente, o sistema irá primeiro procurar o comando em /usr/bin, se não estiver neste diretório, não o encontrará. Neste momento, precisamos criar um arquivo de link para esses comandos que não podem ser encontrados e vinculá-lo a /usr/bin
(Para obter o código detalhado, digitalize o código no final do artigo para ingressar no grupo de intercâmbio Honghu e obter a base de conhecimento Honghu)
Faça login na plataforma Honghu, vá para Gerenciamento de dados > Novo conjunto de dados
Edite o nome da fonte de dados, selecione o intervalo do conjunto de dados como a "switch" criada acima e ela será habilitada
Para criar um script syslog.toml, você precisa ajustar os campos
address = "0.0.0.0:514": 0.0.0.0 significa receber syslogs enviados por todos os hosts e 514 significa a porta de recebimento (o padrão do syslog é 514)
mode = "udp": Indica o protocolo para recebimento do syslog (padrão do syslog para udp)
._target_table = "switch": Indica o nome do conjunto de dados que você criou acima
endereço = "172.20.6.111:9092": IP de Honghu e porta correspondente
Execute o script syslog modificado, mantendo-o em execução.
(Para obter o código detalhado, digitalize o código no final do artigo para ingressar no grupo de intercâmbio Honghu e obter a base de conhecimento Honghu)
O login no dispositivo aciona o syslog (Observação: o login no dispositivo acionará automaticamente o syslog). Faça login na plataforma Honghu para verificar se os dados foram importados para o conjunto de dados do switch. Conforme mostrado na figura abaixo, a contagem de eventos mostrou que a importação de dados foi bem-sucedida
Consultar os dados importados para o dataset do switch através de vetor, por exemplo, aqui eu verifico os logs armazenados
Colocar o syslog do PowerStore
Faça login no PowerStore, Configurações>Registro remoto>ADICIONAR
Host/Endereço IP Preencha o endereço de Honghu
Protocolo: O padrão é udp (consistente com o syslog.toml acima)
Número da porta: padrão 514 (consistente com syslog.toml acima)
Tipo de auditoria: selecionar tudo
ENVIAR MASSAGEM DE TESTE, envie uma mensagem de log de teste para testar se Honghu a recebeu
Consulte o log no Honghu e descubra que o log de teste enviado pelo armazenamento foi recebido e a configuração do syslog foi concluída.
extração de campo
Normalmente, os logs enviados pelo armazenamento são de vários tipos, como logs relacionados a login e logs relacionados à configuração. O formato desses logs será extraído uma vez em Honghu. Podemos ver os campos extraídos padrão. Se esses campos já contêm o que você precisa, para que possa usá-los diretamente. Se alguns campos não forem extraídos, você mesmo precisará extraí-los. Honghu oferece suporte a expressões regulares para extrair campos.
Tomando o log a seguir como exemplo, escrevemos expressões regulares
Podemos copiar o log para o site de teste de expressões regulares para escrever, para que possamos saber onde cometemos erros a qualquer momento. A seguir está o site de teste que usei https://regex101.com/
A expressão regular é a seguinte
\w+\s\d+\s\d{2}:\d{2}:\d{2}\s\w+-\w+\s\[\d+]:\s\d+-\d+-\d+ \w+\d+:\d+:\d+.\d+\s\w+-\w+\s\w+\s\w+@(?\w+)\s(?\w+)\s\[\w+@\w+ \s\w+="(?\d+)"\s\w+="(?\w+)"\s\w+="(?\w+)"\s\w+="(?\w+)"\s \w+=(?"[^"]*")\s\w+=(?"[^"]*")\s\w+=(?"[^"]*")]\s(?.+ )
ps_syslog, aqui está o nome da visualização que precisa ser criada
No script switch._time, a partir da sexta linha, switch refere-se ao conjunto de dados original que precisa extrair dados. Aqui você precisa substituí-lo de acordo com o nome do seu conjunto de dados.
onde contains( switch._message, 'powerstore') 'powerstore' refere-se ao campo específico que você deseja pesquisar neste log de gravação, através do powerstore você pode limitar todos os logs contendo powerstore no log
(Para obter o código completo, digitalize o código no final do artigo para ingressar no grupo de intercâmbio Honghu e obter a base de conhecimento Honghu)
Execute em consulta de ordem superior, sucesso
Vamos executar o teste da instrução de pesquisa e podemos ver os campos que extraímos
criação de gráfico
Há um ponto importante a ser mencionado antes da exibição do gráfico: Geralmente, quando o log não é acionado, o log não será gerado. Precisamos da exibição do gráfico, por isso precisamos do máximo possível de dados de registro. Podemos realizar algumas operações no armazenamento, como fazer login, criar volumes de teste, excluir volumes de teste, etc., para enriquecer os dados de log.
Painéis > Novo painel
Criada
Método de criação de gráfico 1
Apresentarei aqui duas maneiras de criar gráficos, e a segunda maneira é geralmente recomendada. Honghu suporta uma variedade de estilos de gráfico.Desde que a instrução de pesquisa possa gerar dados de resultados normalmente, você pode escolher o gráfico correspondente. Este artigo não descreve os estilos de todos os gráficos, apenas como criá-los. A primeira é criar gráficos dentro do dashboard, da seguinte forma:
Novo Gráfico > Quantidade de Equipamentos
Selecione o tipo de gráfico: Tendência de Valor Único
Instrução de Consulta: Esta afirmação pode ser verificada na consulta primeiro para confirmar se o resultado da pesquisa é o desejado
Intervalo de Tempo: Selecione 30 dias, você pode ajustá-lo de acordo com seu própria situação
gerar gráfico
Método de criação de gráfico 2
O segundo método de criação de gráfico é pesquisar primeiro e, em seguida, usar os dados pesquisados para gerar um gráfico e adicioná-lo ao painel correspondente. O método é o seguinte:
Insira os termos de pesquisa na consulta
Depois que a instrução de consulta for executada, clique em Novo gráfico
Tipo de gráfico: você pode escolher entre vários tipos de gráfico de acordo com suas necessidades
Título: Estatísticas de Comportamento Operacional
Selecionar painel: significa em qual painel salvar o gráfico
Após adicionar, você pode ver o gráfico adicionado no painel
Você pode escolher os dois métodos acima de acordo com a situação, e o segundo método é mais intuitivo e simples. Não mostrarei a exibição do gráfico em detalhes aqui, mas listarei as instruções de pesquisa para sua referência.
frase de pesquisa
Todos os termos de pesquisa neste artigo estão listados abaixo para referência
Dica: A parte do comando da instrução de pesquisa chamará o campo de caracteres extraído. Se o campo de caracteres não for extraído, um erro aparecerá
(Para obter o código completo, digitalize o código no final do artigo para ingressar no grupo de intercâmbio Honghu e obter a base de conhecimento Honghu)
Mostrar resultados
extensão
De acordo com a criação do gráfico acima, o tempo do gráfico é selecionado quando o gráfico é gerado, como 30 dias ou 1 dia de exibição de dados. Em cenários reais, se olharmos para o gráfico, queremos que todos os gráficos sejam flexível de acordo com a seleção. Como fazer a exibição, por exemplo, quero ver 1 dia, quero ver 7 dias, então podemos fazer um “item de tempo” neste momento, o método é o seguinte:
Seleção de tempo de criação
editar
adicionar entrada
Tipo de entrada: Selecione a hora
Nome da tag: time_range (é usado para chamar o gráfico)
Rótulo de exibição: o nome exibido por este item de tempo
Valor padrão da tag: escolha aqui de acordo com sua situação, normalmente escolho o tempo relativo e defino para 30 dias
Após a confirmação, será gerado um item de seleção de horário
seleção de horário de chamada
Selecione o gráfico que deseja invocar, selecione Editar Consulta
Altere o intervalo de tempo da consulta para um valor de tag de tempo e o nome da tag time_range (o nome da tag preenchido ao selecionar o horário criado acima)
Após salvar, você pode escolher o horário que deseja visualizar em “Seleção de Horário”, clicar em Aplicar, e o gráfico mudará de acordo com o horário
Resumir
De modo geral, o próprio dispositivo de armazenamento fornecerá sua própria função de auditoria de log e também pode suportar visualização e pesquisa simples. Mas vamos examinar mais profundamente esse assunto. Se tivermos um conjunto de armazenamento, a função do próprio armazenamento pode apoiá-lo, mas e se tivermos 10 ou mais armazenamento? Com o Honghu, podemos armazenar os dados armazenados de forma unificada por meio do syslog e usar suas instruções de pesquisa para realizar pesquisas rápidas e gerar gráficos correspondentes, o que pode economizar muito nosso trabalho de operação e manutenção.
Seguir
Desta vez, o armazenamento é apenas uma exibição preliminar com base nos dados de log existentes. Com o enriquecimento dos logs, precisaremos otimizá-los ainda mais. A direção geral inclui
-
Vários conjuntos de monitoramento de dispositivos de armazenamento, por exemplo, se tivermos 10 conjuntos de armazenamento, devemos ser capazes de escolher com flexibilidade a visualização da situação específica de cada conjunto de armazenamento, e o gráfico mudará de acordo com o armazenamento que escolhermos
-
Monitoramento de falhas de hardware, como falha no disco rígido, falha no controlador, falha no link
-
Alarmes monitorados, quando ocorrem determinados eventos de erro, acionam ativamente alarmes por e-mail