在本课程中，我们将介绍如何成功安装、配置和管理Graylog 日志管理软件。Graylog 是著名的系统日志服务器之一。众所周知，系统日志服务器允许您从所有类型的设备和应用程序收集日志。
一、安装Graylog日志管理软件
1.1.1 安装Graylog日志管理软件
我们可以通过多种不同的方式安装 graylog。推荐的一种启动 OVA 虚拟机设备的最快方法。您可以在许多系统（如 VMware 或 Virtualbox）中运行 OVA。在这里，我们将了解在 VMware Esxi 环境中部署 graylog。
首先从 graylog.org 官网下载 OVA 镜像。
https://www.graylog.org/?s=OVA&sort=newest
1.1.2 然后打开VMware vcenter或 Esxi 主机并从文件菜单下的 Deploy OVF Template导入OVA
这里使用 VMware Workstation Pro 演示
1.1.3 在控制台我们可以看到所有需要的登录信息。在这里 您可以使用用户 ubuntu 和密码 ubuntu 登录到设备操作系统的 shell。您当然应该更改这些凭据。Web 界面的标准用户是 admin，密码在第一次启动时显示在虚拟服务器的控制台中。您需要记下此信息。
需要注意是，第一次需要 DHCP 获取到 IP 地址才会限速 web 界面 admin 的初始密码：
如部署环境没有DHCP 导入的 OVA 如果没有显示出 admin 密码 那就需要自行修改密码:
graylog修改用户名和密码
1. 要创建您的root_password_sha2，请运行以下命令：
echo -n "Enter Password: " && head -1 </dev/stdin | tr -d '\n' | sha256sum | cut -d" " -f1
2. 然后您需要使用以下命令来创建您的root_password_sha2：
< /dev/urandom tr -dc A-Z-a-z-0-9 | head -c${1:-96};echo;
ubuntu@graylog:~$ sudo vi /etc/graylog/server/server.conf
root_username = admin # 注释掉
password_secret = ChTD0qwqC096qlXfbFHLPCsTkhRTKBLmxWdeQ5YvS-P9VByqq2KcuvgWFKYl04Q82XlMsR6o2D4O0W5aAlnUONKI3cRCeUys
root_password_sha2 = 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
wq ----保存退出
ubuntu@graylog:~$ sudo reboot --------重启新的密码才会生效
二、为 Graylog 服务器设置静态 IP 地址
2.2.1 如果您的环境中没有 DHCP 服务器，那么您需要为 graylog 服务器设置静态 IP 地址：
sudo vi /etc/netplan/01-netcfg.yaml
# This file describes the network interfaces available on your system
# For more information, see netplan(5).
network:
version: 2
renderer: networkd
ethernets:
enp0s3:
dhcp4: yes
ens160:
dhcp4: no
addresses: [192.168.108.200/24]
gateway4: 192.168.108.2
nameservers:
addresses: [8.8.8.8]
sudo netplan apply
2.2.2 添加 Windos 主机生产log 需要下载 graylog_sidecar_installer_1.4.0-1
2.2.3 添加 linux 主机生产log 旧版本不支持 Beats 只能使用 Syslog UDP 或 Syslog TCP
linux 安装sidecar 在线安装
[root@localhost ~]# sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm
[root@localhost ~]# sudo yum install graylog-sidecar
[root@localhost ~]# sudo graylog-sidecar -service install
[root@localhost ~]# sudo systemctl enable graylog-sidecar
[root@localhost ~]# sudo systemctl start graylog-sidecar
[root@localhost ~]# vi /etc/rsyslog.d/listen.conf
linux 安装sidecar 离线安装
如没有网络也可以下载离线安装程序 graylog-sidecar-1.4.0-2.x86_64
安装完后需要重启 graylog-sidecar服务，
因旧版本 没有独立模块收集器，所以显示的log 很杂乱，不太好使用，建议还是使用新的版本5.x
三、Graylog日志管理软件概述
3.3.1 使用浏览器登录网页界面 http://192.168.108.200
3.3.2 Graylog日志管理软件概述
概述所有 graylog 功能。搜索菜单，您可以通过非常接近 Lucene 语法的语法找到所需的日志。如果您未指定要搜索的消息字段，则默认情况下所有消息字段都包含在搜索中。
例如：
查找包含单词 password type just 的消息
password
查找包含单词 user 或 password type 的消息
user password
查找包含单词用户和密码类型的消息
"user password"
您也可以使用正则表达式来查找日志：
/ethernet[0-9]+/
默认情况下，所有术语或短语都是 OR 连接的，因此会返回至少有一次命中的所有消息。您可以使用布尔运算符和组来控制它：
"ssh login" AND source:thehackertips.com
请注意，AND、OR 和 NOT 区分大小写，并且必须全部大写。
使用 ？替换单个字符或 * 替换零个或多个字符：
source:*.com
source: thehacke?tips.com
可以使用“保存”按钮保存搜索配置，然后单击“加载”按钮稍后使用。也有导出搜索结果的选项。
Graylog 流是一种在处理消息时将消息实时分类的机制。您可以定义规则来指示 Graylog 将哪些消息路由到哪些流中。
警报始终基于流。您可以定义触发警报的条件并通过电子邮件获取通知。
使用仪表板，您可以构建预定义的数据视图，只需单击一下即可始终掌握所有重要信息。
在 Sources 上，您可以查看向 Graylog 服务器发送消息的所有来源的列表。
Graylog Enterprise 建立在 Graylog 开源平台之上，提供额外的功能，使用户能够在企业范围内部署 Graylog，并将 Graylog 应用于整个组织的流程和工作流。
Graylog Enterprise 免费高达 5 GB/天。要使用它，需要找到您的集群 ID（位于系统/概述）并完成 graylog.org 上的表格。然后，您将收到 5 GB/天许可下的企业电子邮件。从 Enterprise/archives -> Licenses 菜单输入该许可证。该许可证需要定期检查其有效性。对于每个已安装的许可证，Graylog Enterprise 通过 TCP 端口 443 上的 HTTPS 定期将以下信息发送到“api.graylog.com”：
- 避免修改报告的随机数
- 执照的ID
- Graylog集群的ID
- 指示是否违反许可证的标志
- 指示许可证是否已过期的标志
- 指示 Graylog 是否检测到流量测量机制已被修改的标志
- 最近几天 Graylog 接收和写入流量的列表，以字节为单位
Graylog 归档使您能够配置保留期以自动删除旧消息——这是为了帮助您控制 Elasticsearch 中的存储成本。
审计日志跟踪用户对 Graylog 系统所做的更改。
报告功能使您能够使用仪表板小部件创建和自定义您自己的报告，安排报告自动交付给需要它们的人，并随时手动发送或下载报告作为 PDF 文件。
在“系统”菜单上有许多需要配置的重要设置，如输入、输出、graylog 节点、sidecars 等，我们将在稍后查看。
四、将 syslog 从 Linux 主机发送到 Graylog 服务器
4. Linux 上用于转发日志的最流行的程序是 rsyslog 并且带有最新的 linux 操作系统。使用 rsyslog 转发 syslog 消息很容易。这里我使用Putty连接Linux机器配置发送日志数据到graylog服务器
登录后我们需要在 rsyslog.d 文件夹下创建 graylog.conf 文件。
vi /etc/rsyslog.d/graylog.conf
并添加如下行。我们将使用 UDP 1503 端口发送日志数据。
*.* @172.16.10.51:1503;RSYSLOG_SyslogProtocol23Format
如果您想使用 TCP，请按如下方式更改该行：
*.* @@172.16.10.51:1503;RSYSLOG_SyslogProtocol23Format
UDP 和 TCP 之间的区别是使用 @ 而不是 @@ 作为目标描述符。
最后我们需要重启 rsyslog 服务：
service rsyslog restart
我们在 Linux 服务器上完成配置。现在我们可以移动到 graylog 服务器来创建输入以接收日志。消息输入是负责接受日志消息的 Graylog 部分。
有许多支持 graylog 的输入，我们将使用 SYSLOG UDP。
登录到 graylog 并转到System -> Inputs，选择syslog udp并单击Launch new input
然后填写所有必填字段，如下所示，然后单击保存：
点击“Show received messages”查看日志：
收到日志，在这里我们可以看到我使用 ssh 从 172.16.10.114 IP 地址登录到 Linux 服务器：
五、从 Windows 主机发送系统日志到 Graylog 服务器
5.5.1 没有可以与 Graylog 对话的代理，Windows 无法转发 EventLog。我们将使用 nxlog 作为代理将日志从 Windows 操作系统发送到 graylog 服务器。
按照下面的幻灯片下载并安装 nxlog 程序：
安装成功后打开nxlog.conf文件：
将以下行添加到 nxlog.conf 文件：
############## Extensions ############################
<Extension _gelf>
Module xm_gelf
</Extension>
<Input in>
Module im_msvistalog
# For windows 2003 and earlier use the following:
# Module im_mseventlog
</Input>
########################################
<Output out>
Module om_udp
Host 172.16.10.51
Port 12201
OutputType GELF
</Output>
<Route 1>
Path in => out
</Route>
############## Extensions ############################然后像下面这样启动 nxlog 服务：
我们在 Windows 服务器上完成配置。现在我们可以移动到 graylog 服务器来创建输入以接收日志。消息输入是负责接受日志消息的 Graylog 部分。
有许多支持 graylog 的输入，我们将使用 GELF UDP。
登录到 graylog 并转到System -> Inputs，选择GELF UDP并单击Launch new input
然后填写所有必填字段，如下所示，然后单击保存：
点击“Show received messages”查看日志：
收到的日志：
六、将 syslog 从 Cisco 交换机发送到 Graylog 服务器
6.6.1 要配置基于 Cisco CatOS 的交换机以将系统日志消息发送到外部系统日志服务器，
请使用如下所示的特权 EXEC 模式命令。默认使用端口 514 UDP，您也可以配置特定端口
Switch>enable
Switch#configure terminal
Switch(config)# logging host [logging 172.16.10.51] or [logging 172.16.10.51 transport udp port 5140]
Switch(config)# logging trap level [default level is informational]
Switch(config)# end我们在 Cisco 交换机上完成配置。现在我们可以移动到 graylog 服务器来创建输入以接收日志。消息输入是负责接受日志消息的 Graylog 部分。
有许多支持 graylog 的输入，我们将使用 SYSLOG UDP。
登录到 graylog 并转到 System -> Inputs， 选择syslog udp并单击Launch new input
然后填写所有必填字段，如下所示，然后单击保存：
点击“Show received messages”查看日志：
七、将 syslog 从 Cisco ASA 发送到 Graylog 服务器
7.7.1 将日志从 Cisco ASA 设备发送到 graylog 系统日志消息发送到系统日志服务器。
使用 ASDM 执行这些步骤。首先我们需要启用日志记录：
Configuration > Device Management > Logging > Logging Setup 并选中 Enable logging 选项。
然后选择 Configuration > Device Management > Logging > Syslog Servers 并单击 Add 添加一个 syslog 服务器。这里我们使用 5341 UDP 端口。
我们在 Cisco ASA 上完成配置。现在我们可以移动到 graylog 服务器来创建输入以接收日志。消息输入是负责接受日志消息的 Graylog 部分。
有许多支持 graylog 的输入，我们将使用 SYSLOG UDP。
登录到 graylog 并转到 System -> Inputs， 选择syslog udp并单击Launch new input
然后填写所有必填字段，如下所示，然后单击保存：
点击“Show received messages”查看日志：
八、将系统日志从 HP 网络设备发送到 Graylog 服务器
8.8.1
我们将查看 HP ProCurve 交换机和其他大致相似的 HP 设备。HP ProCurve 交换机能够通过 UDP 或 TCP 将其日志发送到远程 Syslog 目的地。
通过网络发送日志时，建议使用 TCP 作为更可靠的协议。使用 UDP 时，可能会丢失条目，尤其是在消息量很大时。如果需要额外的安全性，也可以通过 TLS 发送日志。
通过 SSH 或 Telnet 连接到交换机。将 LEVEL 替换为日志记录级别（调试、主要、错误、警告或信息）。将 FACILITY 替换为要用于日志的 Syslog 设施。使用 udp、tcp 或 tls 的协议；和 PORT 与所需的端口。如果省略 PORT，将使用默认值（UDP 为 514，TCP 为 1470，TLS 为 6514）。
# configure
(config)# logging severity LEVEL # for example: info
(config)# logging facility FACILITY # for example: local4
(config)# logging 172.16.10.51 UDP 1514
(config)# write memory我们在 HP 设备上完成配置。现在我们可以移动到 graylog 服务器来创建输入以接收日志。消息输入是负责接受日志消息的 Graylog 部分。
有许多支持 graylog 的输入，我们将使用 SYSLOG UDP。
登录到 graylog 并转到 System -> Inputs， 选择syslog udp并单击Launch new input
然后填写所有必填字段，如下所示，然后单击保存：
点击“Show received messages”查看日志：
九、将 syslog 从 Paloalto 防火墙发送到 Graylog 服务器
9.9.1 Graylog 允许直接从帕洛阿尔托设备和帕洛阿尔托全景系统接收系统、威胁和交通日志。
我们将使用 UDP 5241 端口进行日志记录。
登录 Paloalto 防火墙并创建系统日志服务器配置文件：
转到设备 > 服务器配置文件 > 系统日志并添加系统日志服务器配置文件：
您需要填写以下信息：
- 名称：输入系统日志配置文件的名称（最多 31 个字符）。该名称区分大小写并且必须是唯一的。仅使用字母、数字、空格、连字符和下划线。
- 名称：单击添加并输入系统日志服务器的名称（最多 31 个字符）。该名称区分大小写并且必须是唯一的。仅使用字母、数字、空格、连字符和下划线。
- 系统日志服务器：输入系统日志服务器的 IP 地址。
- 传输：选择是否通过 UDP、TCP 或 SSL 传输系统日志消息。
- 端口：输入系统日志服务器的端口号（UDP 的标准端口为 514；SSL 的标准端口为 6514；对于 TCP，您必须指定一个端口号）。
- 格式：指定要使用的系统日志格式：BSD（默认）或 IETF。
- 设施：选择 Syslog 标准值之一。选择映射到 Syslog 服务器如何使用设施字段来管理消息的值。有关设施字段的详细信息，请参阅 RFC 3164（BSD 格式）或 RFC 5424（IETF 格式）。
我们在 Paloalto 防火墙上完成配置。现在我们可以移动到 graylog 服务器来创建输入以接收日志。消息输入是负责接受日志消息的 Graylog 部分。有很多输入支持 graylog，我们将使用 SYSLOG UDP。
登录到 graylog 并转到 System -> Inputs， 选择syslog udp并单击Launch new input
点击“Show received messages”查看日志：
十、如何在 Graylog 服务器上扩展磁盘大小
有时依赖日志数据我们需要增加graylog磁盘空间。在这里，我们将查看安装在 VMware esxi 上的 graylog 服务器，并使用GParted免费分区管理器，使您能够在不丢失数据的情况下调整大小、复制和移动分区。
首先登录VMware esxi或vCenter服务器，在虚拟机上增加硬盘。
然后从从 https://gparted.org/ 下载的 GParted 分区管理器 ISO 文件关闭虚拟机和引导服务器。为此，请按照以下幻灯片操作：
将 ISO 文件添加到 CD/DVD 媒体后，我们需要从该 ISO 启动。为此，请转到VM 选项选项卡并选中强制 BIOS 设置复选框。重新启动 VM 并使 CD-ROM 驱动器成为第一个可启动设备：
GParted ISO 成功启动，选择 GParted Live 并回车：
然后按照下面的幻灯片操作：
GParted 窗口打开后，选择我们需要调整大小的分区并右键单击它并选择调整大小/移动：
将其向右拖动以增加磁盘空间[幻灯片 1]，然后单击调整大小[幻灯片 2]。单击应用按钮 [幻灯片 3] 接受配置。
重启服务器，登录graylog服务器。这里我们还需要做一些更改以增加磁盘空间。更改前我们使用df -h命令看到磁盘大小为 19GB 。
我们需要运行 2 个命令来增加更改：
sudo lvextend -l +100%FREE /dev/mapper/graylog--vg-root
and
sudo resize2fs /dev/mapper/graylog--vg-root
就这样。现在我们可以使用df -h检查我们的磁盘大小：
