总结：日志

其他 2020-08-05 07:37:53 阅读次数: 0

  • rsyslog

    • 多线程
    • UDP, TCP, SSL, TLS, RELP
    • MySQL, PGSQL, Oracle实现日志存储
    • 强大的过滤器，可实现过滤记录日志信息中任意部分
    • 自定义输出格式
    • CentOS6和7默认使用

  • ELK （elasticsearch, logstash, kibana）

    • 非关系型分布式数据库
    • 基于apache软件基金会jakarta项目组的项目lucene
    • Elasticsearch是个开源分布式搜索引擎
    • Logstash对日志进行收集、分析，并将其存储供以后使用
    • kibana 可以提供的日志分析友好的 Web 界面
    • 用于日志较大时

facility：设施，从功能或程序上对日志进行归类
auth, authpriv, cron, daemon,ftp,kern, lpr, mail, news, security(auth), user, uucp, local0-local7(自定义), syslog

Priority 优先级别，从低到高排序
debug, info, notice, warn(warning), err(error), crit(critical), alert, emerg(panic)

配置文件

[root@CentOS7 /data]# rpm -ql rsyslog
/etc/rsyslog.conf
/etc/rsyslog.d

模块

[root@CentOS7 /data]# rpm -ql rsyslog
/usr/lib64/rsyslog/imdiag.so
/usr/lib64/rsyslog/imfile.so

配置文件格式：由三部分组成

  • MODULES：相关模块配置
  • GLOBAL DIRECTIVES：全局配置
  • RULES：日志记录相关的规则配置
    • RULES配置格式： facility.priority; facility.priority… target
      • facility：
        • *: 所有的facility
        • facility1,facility2,facility3,…：指定的facility列表
      • priority：
        • *: 所有级别
        • none：没有级别，即不记录
        • PRIORITY：指定级别（含）以上的所有级别
        • =PRIORITY：仅记录指定级别的日志信息
      • target：
        • 文件路径：通常在/var/log/，文件路径前的-表示异步写入
        • 用户：将日志事件通知给指定的用户，* 表示登录的所有用户
        • 日志服务器：@host，把日志送往至指定的远程服务器记录
        • 管道： | COMMAND，转发给其它命令处理
修改ssh登录日志文件

ssh日志写入/var/log/ssh.log

[root@CentOS7 /data]# vim /etc/rsyslog.conf 
local6.*                                                /var/log/ssh.log 

[root@CentOS7 /data]# vim /etc/ssh/sshd_config
#SyslogFacility AUTHPRIV                               #注释掉
SyslogFacility local6                                  #修改为自定义

[root@CentOS7 /data]# systemctl restart sshd
[root@CentOS7 /data]# systemctl restart rsyslog
ssh登录日志不放入文件，通知root、wang用户

需要用户在线才能收到提示

[root@CentOS7 /data]# vim /etc/rsyslog.conf 
local6.*                                                root,wang
ssh登录日志不放入文件，通知所有用户
[root@CentOS7 /data]# vim /etc/rsyslog.conf 
local6.*                                                *
ssh登录日志放入logserver主机/var/log/local.log(通过UDP传输）

通过UDP传输

[root@CentOS7 /data]# vim /etc/ssh/sshd_config
#SyslogFacility AUTHPRIV                               #注释掉
SyslogFacility local6 

[root@CentOS7 /data]# vim /etc/rsyslog.conf 
$ModLoad imudp
$UDPServerRun 514 
local6.*                                                @192.168.8.17

logserver配置

[root@CentOS7 /data]# vim /etc/rsyslog.conf 
$ModLoad imudp
$UDPServerRun 514 
local6.*                                                /var/log/local.log
ssh登录日志放入logserver主机/var/log/local.log(通过TCP传输）
$ModLoad imtcp
$InputTCPServerRun 514
[root@CentOS7 /data]# vim /etc/ssh/sshd_config
#SyslogFacility AUTHPRIV                               #注释掉
SyslogFacility local6 

[root@CentOS7 /data]# vim /etc/rsyslog.conf 
$ModLoad imtcp
$InputTCPServerRun 514
local6.*                                                @@192.168.8.17

logserver配置

[root@CentOS7 /data]# vim /etc/rsyslog.conf 
$ModLoad imtcp
$InputTCPServerRun 514
local6.*                                                /var/log/local.log

@走UDP；@@走TCP

日志

  • /var/log/secure：系统安装日志，文本格式，应周期性分析
  • /var/log/btmp：当前系统上，用户的失败尝试登录相关的日志信息，二进制格式，l
    • astb命令进行查看
  • /var/log/wtmp：当前系统上，用户正常登录系统的相关日志信息，二进制格式，
    • last命令可以查看
  • /var/log/lastlog:每一个用户最近一次的登录信息，二进制格式，
    • lastlog命令可以查看
  • /var/log/dmesg：系统引导过程中的日志信息，文本格式
    • dmesg查看
  • /var/log/messages ：系统中大部分的信息
  • /var/log/anaconda : anaconda的日志
监控脚本
[root@CentOS7 /data]# lastb |awk '/ssh/{print $3}' |sort |uniq -c |sort -n |while read count ip ;do if [ $count -gt 5 ];then iptables -A INPUT -s $ip -j REJECT ;fi;done

[root@CentOS7 /data]# iptables -vnL
    0     0 REJECT     all  --  *      *       192.168.8.27         0.0.0.0/0            reject-with icmp-port-unreachable


[root@CentOS7 /data]# iptables -F                       #清空
[root@CentOS7 /data]# lastb |awk '/ssh/{ip[$3]++}END{for(i in ip){print i,ip[i]}}'
192.168.8.17 2
192.168.8.27 7

[root@CentOS7 /data]# lastb |awk '/ssh/{ip[$3]++}END{for(i in ip){if (ip[i]>5)print i,ip[i]}}'
192.168.8.27 7

[root@CentOS7 /data]# lastb |awk '/ssh/{ip[$3]++}END{for(i in ip){if (ip[i]>5){ system("iptables -A INPUT -s "i" -j REJECT")}}}'
[root@CentOS7 /data]# iptables -vnL
Chain INPUT (policy ACCEPT 20 packets, 1464 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 REJECT     all  --  *      *       192.168.8.27         0.0.0.0/0            reject-with icmp-port-unreachable
日志管理journalctl

Systemd 统一管理所有 Unit 的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志（内核日志和应用日志）。日志的配置文件/etc/systemd/journald.conf

  • 查看所有日志（默认情况下 ，只保存本次启动的日志）
    journalctl
  • 查看内核日志（不显示应用日志）
    journalctl -k
  • 查看系统本次启动的日志
    journalctl -b
    journalctl -b -0
  • 查看上一次启动的日志（需更改设置）
    journalctl -b -1
  • 查看指定时间的日志
    journalctl --since=“2017-10-30 18:10:30”
    journalctl --since “20 min ago”
    journalctl --since yesterday
    journalctl --since “2017-01-10” --until “2017-01-11 03:00”
    journalctl --since 09:00 --until “1 hour ago”
  • 显示尾部的最新10行日志
    journalctl -n
  • 显示尾部指定行数的日志
    journalctl -n 20
  • 实时滚动显示最新日志
    journalctl -f
  • 查看指定服务的日志
    journalctl /usr/lib/systemd/systemd
  • 查看指定进程的日志
    journalctl _PID=1
  • 查看某个路径的脚本的日志
    journalctl /usr/bin/bash
  • 查看指定用户的日志
    journalctl _UID=33 --since today
  • 查看某个 Unit 的日志
    journalctl -u nginx.service
    journalctl -u nginx.service --since today
  • 实时滚动显示某个 Unit 的最新日志
    journalctl -u nginx.service -f
  • 合并显示多个 Unit 的日志
    journalctl -u nginx.service -u php-fpm.service --since today
  • 查看指定优先级（及其以上级别）的日志，共有8级
    0: emerg
    1: alert
    2: crit
    3: err
    4: warning
    5: notice
    6: info
    7: debug
    journalctl -p err -b
  • 日志默认分页输出，–no-pager 改为正常的标准输出
    journalctl --no-pager
  • 以 JSON 格式（单行）输出
    journalctl -b -u nginx.service -o json
  • 以 JSON 格式（多行）输出，可读性更好
    journalctl -b -u nginx.serviceqq -o json-pretty
  • 显示日志占据的硬盘空间
    journalctl --disk-usage
  • 指定日志文件占据的最大空间
    journalctl --vacuum-size=1G
  • 指定日志文件保存多久
    journalctl --vacuum-time=1years
实现日志web展示通过loganalyzer展示数据库中的日志
  • 环境
    • hostA：rsyslog（192.168.8.7）
    • hostB：MariaDB（192.168.8.17）
    • hostC：HTTPD PHP（192.168.8.27）

1、hostC基于模块安装配置httpd、php、loganalyzer

[root@Web /data]# yum install httpd php php-mysql php-gd -y
[root@Web /data]# systemctl start httpd
[root@Web /data]# vim /var/www/html/index.php           #测试PHP
<?php
echo date("Y/m/d H:i:s");
phpinfo();
?>

[root@Web /data]# tar xf loganalyzer-4.1.5.tar.gz 
[root@Web /data]# cp -a loganalyzer-4.1.5/src /var/www/html/loganalyzer

[root@Web /data]# cd /data/loganalyzer-4.1.5/
[root@Web /data/loganalyzer-4.1.5]# cat contrib/configure.sh      #安装前运行进行授权
#!/bin/sh

touch config.php
chmod 666 config.php
[root@Web /data/loganalyzer-4.1.5]# cat contrib/secure.sh      #安装后收回权限
#!/bin/sh
chmod 644 config.php

[root@Web /data/loganalyzer-4.1.5]# cd /var/www/html/loganalyzer
[root@Web /var/www/html/loganalyzer]# touch config.php
[root@Web /var/www/html/loganalyzer]# chmod 666 config.php

2、hostB安装mariadb

   13  yum install mariadb-server -y
   14  systemctl start mariadb

3、hostA 配置ssh登录日志写入mariadb服务器及安装rsyslog-mysql

[root@rsyslog ~]# yum install rsyslog-mysql -y

[root@rsyslog ~]# vim /etc/ssh/sshd_config
#SyslogFacility AUTHPRIV
SyslogFacility local6

4、mariadb服务器创建相关库及授权

[root@rsyslog ~]# rpm -ql rsyslog-mysql 
/usr/lib64/rsyslog/ommysql.so
/usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
[root@rsyslog ~]# scp /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql 192.168.8.17:/data

[root@MariaDB ~]# mysql </data/mysql-createDB.sql 
[root@MariaDB ~]# mysql
MariaDB [(none)]> show databases;
MariaDB [(none)]> grant all on Syslog.* to loguser@"192.168.8.%" identified by "centos";

5、配置rsyslog写入数据库

[root@rsyslog ~]# vim /etc/rsyslog.conf
#### MODULES ####
$ModLoad ommysql               #新增
#### RULES #### 
local6.*                :ommysql:192.168.8.17,Syslog,loguser,centos    新增

[root@rsyslog ~]# systemctl restart rsyslog.service

6、web服务器网页配置

360访问时配置选项不能出现

Google浏览器访问http://192.168.8.27/loganalyzer/install.php

在这里插入图片描述

7、修改安全配置

[root@Web /var/www/html/loganalyzer]# chmod 644 config.php

Logrotate日志存储

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，称为日志转储或滚动。可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过 cron 程序来执行

  • 配置文件 /etc/logrotate.conf

  • 配置文件 /etc/logrotate.d/*

    • 主要参数如下
      • compress 通过gzip 压缩转储以后的日志
      • nocompress 不需要压缩时，用这个参数
      • copytruncate 用于还在打开中的日志文件，把当前日志备份并截断
      • nocopytruncate 备份日志文件但是不截断
      • create mode owner group 转储文件，使用指定的文件模式创建新的日志文件
      • nocreate 不建立新的日志文件
      • delaycompress 和 compress 一起使用时，转储的日志文件到下一次转储时才压缩
      • nodelaycompress 覆盖 delaycompress 选项，转储并压缩
      • errors address 专储时的错误信息发送到指定的Email 地址
      • ifempty 即使是空文件也转储，是缺省选项。
      • notifempty 如果是空文件的话，不转储
      • mail address 把转储的日志文件发送到指定的E-mail 地址
      • nomail 转储时不发送日志文件
      • olddir directory 转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统
      • noolddir 转储后的日志文件和当前日志文件放在同一个目录下
      • prerotate/endscript 在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行
      • postrotate/endscript 在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行
      • daily 指定转储周期为每天
      • weekly 指定转储周期为每周
      • monthly 指定转储周期为每月
      • size 大小 指定日志超过多大时，就执行日志转储
      • rotate count 指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
      • Missingok 如果日志不存在，提示错误
      • Nomissingok如果日志不存在，继续下一次日志，不提示错误

  • 举例

[root@Web /var/www/html/loges]# cat /etc/logrotate.d/*
/var/log/spooler
{
    missingok
    sharedscripts
    postrotate
	/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
    endscript
}
/var/log/wpa_supplicant.log {
    missingok
    notifempty
    size 30k
    create 0600 root root
}
/var/log/yum.log {
    missingok
    notifempty
    maxsize 30k
    yearly
    create 0600 root root
}

猜你喜欢

转载自blog.csdn.net/wauzy/article/details/107434514
今日推荐
NetBSD 禁止提交由 AI 生成的代码
Apache Doris 2.0.10 版本正式发布！
开源日报 | 大模型开战；大模型独角兽被曝卖身；周鸿祎建议谷歌开源所有产品；最大开源AI社区提供1000万美元共享GPU
开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜
微软回应中国区AI团队“打包赴美”传闻
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
周排行
女程序员是这样被恶搞的
B/S 和 C/S 的优缺点
vector一直申请会怎样？
座头鲸识别比赛(Humpback Whale Identification)总结
Linux高性能服务器编程——I/O复用 select
Mysql连接数据库（当包使用）
通过URI获取的文件路径为null的解决方法
1022-Primes on Interval(素数筛选+二分查找) ZCMU
Python出现： TypeError: expected string or buffer
bzoj2434: [Noi2011]阿狸的打字机 ac自动机+树状数组
每日归档
更多
2024-05-18(4)
2024-05-17(34)
2024-05-16(6)
2024-05-15(24)
2024-05-14(0)
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022