Tsar简介
Tsar是淘宝自己开发的一个采集工具，主要用来收集服务器的系统信息(如cpu，io，mem，tcp等)，以及应用数据(如squid haproxy nginx等)。
收集到的数据存储在磁盘上，可以随时查询历史信息，输出方式灵活多样，另外支持将数据存储到mysql中，也可以将数据发送到nagios报警服务器。
Tsar在展示数据时，可以指定模块，并且可以对多条信息的数据进行merge输出，带—live参数可以输出秒级的实时信息。
Tsar能够比较方便的增加模块，只需要按照tsar的要求编写数据的采集函数和展现函数，就可以把自定义的模块加入到Tsar中。
总体架构
Tsar是基于模块化设计的程序，程序有两部分组成：框架和模块。
框架程序源代码主要在src目录，而模块源代码主要在modules目录中。
框架提供对配置文件的解析，模块的加载，命令行参数的解析，应用模块的接口对模块原始数据的解析与输出。 模块提供接口给框架调用。
Tsar依赖与cron每分钟执行采集数据，因此它需要系统安装并启用crond，安装后，tsar每分钟会执行
tsar --cron来定时采集信息，并且记录到原始日志文件。
Tsar的运行流程图
主要执行流程
1.解析输入
根据用户的输入，初始化一些全局信息，如间隔时间，是否merge，是否指定模块，运行模式2.读取配置文件信息
主要解析tsar的配置文件，如果include生效，则会解析include的配置文件
配置文件用来获得tsar需要加载的模块，输出方式，每一类输出方式包含的模块，和此输出方式的接收信息
如mod_cpu on代表采集cpu的信息
output_interface file,nagios表示向文件和nagios服务器发送采集信息和报警信息3.加载相应模块
根据配置文件的模块开启关闭情况，将模块的动态库load到系统4.tsar的三种运行模式
tsar在运行的时候有三种模式：
print模式仅仅输出指定的模块信息，默认显示最近一天的；
live模式是输出当前信息，可以精确到秒级
cron模式，此一般是crontab定时执行，每一分钟采集一次所有配置的模块信息，并将数据写入原始文件，在cron运行的时候 会判断是否配置输出到db或者nagios，如果配置则将相应格式的数据输出到对应接口。5.释放资源
程序最后，释放动态库，程序结束
项目地址: https://github.com/alibaba/tsar
Tsar安装
从github上检出代码
$ git clone git://github.com/alibaba/tsar.git $ cd tsar $ make $ make install
从github上下载源码
$ wget -O tsar.zip https://github.com/alibaba/tsar/archive/master.zip --no-check-certificate $ unzip tsar.zip $ cd tsar $ make $ make install
安装后生成的文件
Tsar配置文件路径：/etc/tsar/tsar.conf，tsar的采集模块和输出的具体配置；
定时任务配置:/etc/cron.d/tsar，负责每分钟调用tsar执行采集任务；
日志文件轮转配置:/etc/logrotate.d/tsar，每个月会把tsar的本地存储进行轮转；
模块路径：/usr/local/tsar/modules，各个模块的动态库so文件；
Tsar配置
Tsar配置文件介绍
定时任务配置
$ cat /etc/cron.d/tsar # cron tsar collect once per minute MAILTO="" * * * * * root /usr/bin/tsar --cron > /dev/null 2>&1
如上所示，/etc/cron.d/tsar里面负责每分钟以root用户的角色调用tsar命令来执行数据采集。
日志文件轮转
$ cat /etc/logrotate.d/tsar
/var/log/tsar.data
{
monthly
rotate 120
create
nocompress
nodateext
notifempty
prerotate
/usr/bin/chattr -a /var/log/tsar.data
endscript
postrotate
/usr/bin/chattr +a /var/log/tsar.data
endscript
}
在日志文件轮转配置中，每个月会把tsar的本地存储进行轮转，此外这里也设定了数据在/var/log/tsar.data下
配置文件
/etc/tsar/tsar.conf负责tsar的采集模块和输出的具体配置；在这里配置启用哪些模块，输出等内容。
$ cat /etc/tsar/tsar.conf ####debug_level(INFO DEBUG WARN ERROR FATAL) debug_level ERROR ####[module] mod_cpu on mod_mem on mod_swap on mod_tcp on mod_udp on mod_traffic on mod_io on mod_pcsw on mod_partition on mod_tcpx on mod_load on mod_apache off mod_lvs off mod_haproxy off mod_squid off mod_nginx off mod_nginx_multiport off mod_nginx_live off #mod_nginx_sys_mport on 80 8080 mod_swift off mod_swift_code off mod_swift_domain off mod_swift_esi off mod_swift_fwd off mod_swift_store off mod_swift_swapdir off mod_swift_purge off mod_swift_sys off mod_swift_tcmalloc off mod_tmd off mod_percpu off mod_tcprt off mod_proc off pidname mod_pharos off mod_tmd4 off mod_keyserver off #mod_erpc on /etc/tsar/erpc.conf #mod_search on ####output_interface file,db,nagios output_interface file ####[output_file] original data to store output_file_path /var/log/tsar.data ####[output_stdio] these mod will be show as using tsar command output_stdio_mod mod_swap,mod_partition,mod_cpu,mod_mem,mod_lvs,mod_haproxy,mod_traffic,mod_squid,mod_load,mod_tcp,mod_udp,mod_tcpx,mod_apache,mod_pcsw,mod_io,mod_percpu ####[output_db] #output_db_mod mod_swap,mod_partition,mod_cpu,mod_mem,mod_traffic,mod_load,mod_tcp,mod_udp,mod_pcsw,mod_io #output_db_addr console2:56677 ####[output_tcp] #output_tcp_mod mod_swap,mod_cpu #output_tcp_addr localhost:9666 #output_tcp_merge on ####support include other mod conf include /etc/tsar/conf.d/*.conf ####The IP address or the host running the NSCA daemon #server_addr nagios.server.com ####The port on which the daemon is running - default is 5667 #server_port 8086 ####The cycle of send alert to nagios #cycle_time 300 ####nsca client program #send_nsca_cmd /usr/bin/send_nsca #send_nsca_conf /home/a/conf/amon/send_nsca.conf ####tsar mod alert config file ####threshold servicename.key;w-min;w-max;c-min;cmax; #threshold cpu.util;N;N;N;N;
常用参数说明
debug_level 指定tsar的运行级别，主要用来调试使用
mod_xxx on/off 开启指定模块
out_interface 设置输出类型，支持file，nagios，db
out_stdio_mod 设置用户终端默认显示的模块
output_db_mod 设置哪些模块输出到数据库
output_db_addr 数据库的ip和端口
output_nagios_mod 设置哪些模块输出到nagios
include 支持include配置，主要用来加载用户的自定义模块
cycle_time 指定上报的间隔时间，由于tsar每一分钟采集一次，上报时会判断是否符合时间间隔，如设置300的话，则在0，5等整点分钟会上报nagios
threshold 设置某个要报警项的阀值,前面是模块和要监控的具体名称，后面的四个数据代表报警的范围，warn和critical的范围
自定义模块配置文件
/etc/tsar/conf.d/这个目录下是用户的自定义模块配置文件,配置基本在用户开发自定义模块时确定，主要包含模块的开启，输出类型和报警范围
Tsar使用介绍
在Tsar的使用中，可以参考下面的帮助信息，完成对应的监控。
$ tsar -h Usage: tsar [options] Options: -check 查看最后一次的采集数据 --check/-C 查看最后一次tsar的提醒信息，如：tsar --check / tsar --check --cpu --io --cron/-c 使用crond模式来进行tsar监控 --interval/-i 指明tsar的间隔时间，默认单位分钟,默认显示间隔5分钟；带上--live参数则单位是秒，默认是5秒。 --list/-L 列出启用的模块 --live/-l 启用实时模式，类似iostat等，可以配合-i参数和模块参数使用。 --file/-f 指定输入文件 --ndays/-n 控制显示多长时间的历史数据，默认1天 --date/-d 指定日期,YYYYMMDD或者n代表n天前 --detail/-D 能够指定查看主要字段还是模块的所有字段 --spec/-s 指定字段,tsar –cpu -s sys,util --watch/-w 显示最后多少分钟的记录. 如:tsar --watch 30 / tsar --watch 30 --cpu --io --merge/-m 对有多个数据的展示，进行汇总，如机器上跑了3个squid，可以用 tsar –squid -m的放式进行展示汇总。 --item/-I 显示指定项目数据, 如:tsar --io -I sda -–help/-h 显示提示信息和模块信息 Modules Enabled: --cpu 列出cpu相关的监控计数 --mem 物理内存的使用情况 --swap 虚拟内存的使用情况 --tcp TCP协议IPV4的使用情况 --udp UDP协议IPV4的使用情况 --traffic 网络传出的使用情况 --io Linux IO的情况 --pcsw 进程和上下文切换 --partition 磁盘使用情况 --tcpx TCP连接相关的数据参数 --load 系统负载情况
tsar命令行主要担负显示历史数据和实时数据的功能，因此有控制展示模块和格式化输出的参数，默认不带任何参数/选项的情况下，tsar打印汇总信息。
tsar命令行主要显示给人看的，所以数据展示中都进行了k/m/g等的进位。
tsar命令会在显示20行数据后再次打印各个列的列头，以利于用户理解数据的含义。
tsar的列头信息包括2行，第一行为模块名，第二行为列名。
tsar输出最后会作min/avg/max的汇总统计，统计所展示中的最小/平均/最大数据。
Tsar使用实例
Tsar监控系统
查看可用的模块列表
$ tsar -L tsar enable follow modules: cpu mem swap tcp udp traffic io pcsw partition tcpx load
查看指定模块的运行状况,模块是指tsar -L列出来的名称。如查看CPU运行情况
$ tsar --cpu Time -----------------------cpu---------------------- Time user sys wait hirq sirq util 18/05/16-09:20 0.03 0.08 0.01 0.00 0.02 0.12 18/05/16-09:25 0.00 0.02 0.00 0.00 0.01 0.04 18/05/16-09:30 0.00 0.02 0.00 0.00 0.02 0.05
查看实时数据
$ tsar -l Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- --dm-0-- --dm-1-- --dm-2-- ---load- Time util util retran bytin bytout util util util util load1 18/05/16-11:27:47 0.05 33.16 0.00 24.00 74.00 0.04 0.04 0.00 0.00 0.00 18/05/16-11:27:52 0.05 33.15 0.00 30.00 52.00 0.06 0.06 0.00 0.00 0.00
以1秒钟为间隔，实时打印tsar的概述数据
$ tsar -i 1 -l Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- --dm-0-- --dm-1-- --dm-2-- ---load- Time util util retran bytin bytout util util util util load1 18/05/16-10:17:17 0.25 33.13 0.00 60.00 314.00 0.00 0.00 0.00 0.00 0.00 18/05/16-10:17:18 0.00 33.13 0.00 60.00 202.00 0.50 0.50 0.00 0.00 0.00
tsar cpu监控
使用参数-–cpu可以监控系统的cpu，参数user表示用户空间cpu, sys内核空间cpu使用情况，wait是IO对应的cpu使用情况，hirq,sirq分别是硬件中断，软件中断的使用情况，util是系统使用cpu的总计情况。
$ tsar --cpu Time -----------------------cpu---------------------- Time user sys wait hirq sirq util 18/05/16-09:20 0.03 0.08 0.01 0.00 0.02 0.12 18/05/16-09:25 0.00 0.02 0.00 0.00 0.01 0.04
显示一天内的cpu和内存历史数据，以1分钟为间隔
$ tsar --cpu --mem -i 1 Time -----------------------cpu---------------------- -----------------------mem---------------------- Time user sys wait hirq sirq util free used buff cach total util 18/05/16-09:14 0.00 0.02 0.00 0.00 0.01 0.04 1.2G 456.9M 35.9M 95.8M 1.8G 24.54 18/05/16-09:15 0.01 0.02 0.00 0.00 0.02 0.05 1.2G 456.9M 35.9M 95.8M 1.8G 24.53
显示一天内cpu的历史信息，以1分钟为间隔
$ tsar --cpu -i 1 Time -----------------------cpu---------------------- -----------------------mem---------------------- Time user sys wait hirq sirq util free used buff cach total util 18/05/16-09:14 0.00 0.02 0.00 0.00 0.01 0.04 1.2G 456.9M 35.9M 95.8M 1.8G 24.54 18/05/16-09:15 0.01 0.02 0.00 0.00 0.02 0.05 1.2G 456.9M 35.9M 95.8M 1.8G 24.53
tsar监控虚拟内存和load情况
$ tsar --swap --load Time ---------------swap------------- -------------------load----------------- Time swpin swpout total util load1 load5 load15 runq plit 18/05/16-09:20 0.00 0.00 1.9G 0.00 0.00 0.00 0.00 0.00 147.00 18/05/16-09:25 0.00 0.00 1.9G 0.00 0.00 0.00 0.00 0.00 147.00
以2秒钟为间隔，实时打印mem的数据
$ tsar --live --mem -i 2 Time -----------------------mem---------------------- Time free used buff cach total util 18/05/16-11:30:59 905.8M 617.2M 219.4M 119.8M 1.8G 33.14 18/05/16-11:31:01 904.9M 618.1M 219.4M 119.8M 1.8G 33.19
tsar监控io使用情况
$ tsar --io Time ------------------------------------------sda------------------------------------------- Time rrqms wrqms rs ws rsecs wsecs rqsize qusize await svctm util 18/08/16-21:25 0.28 3.4K 184.40 389.25 4.9K 15.0K 35.47 3.00 6.35 0.29 16.44 18/08/16-21:30 0.00 3.2K 109.71 382.74 2.5K 14.5K 35.27 3.00 7.33 0.30 14.68
tsar监控网络监控统计
$ tsar --traffic Time ---------------------traffic-------------------- Time bytin bytout pktin pktout pkterr pktdrp 18/05/16-09:20 42.00 33.00 0.00 0.00 0.00 0.00 18/05/16-09:25 12.00 2.00 0.00 0.00 0.00 0.00
$ tsar --tcp --udp -d 1 Time -------------------------------tcp------------------------------ ---------------udp-------------- Time active pasive iseg outseg EstRes AtmpFa CurrEs retran idgm odgm noport idmerr 18/05/16-00:05 0.79 1.52 1.6K 2.1K 0.00 0.03 3.4K 0.02 0.00 2.00 0.00 0.00 18/05/16-00:10 0.73 1.40 884.25 921.56 0.00 0.03 3.4K 0.01 0.00 3.00 0.00 0.00
tsar检查告警信息
查看最后一次tsar的提醒信息,这里包括了系统的cpu,io的告警情况。
$ tsar --check --cpu --io localhost.localdomain tsar cpu:user=25.0 cpu:sys=2.1 cpu:wait=0.1 cpu:hirq=0.0 cpu:sirq=0.2 cpu:util=27.4 io:sda:rrqms=0.0 io:sda:wrqms=4172.4 io:sda:rs=80.3 io:sda:ws=493.0 io:sda:rsecs=1664.0 io:sda:wsecs=18661.7 io:sda:rqsize=35.5 io:sda:qusize=4.0 io:sda:await=7.7 io:sda:svctm=0.3 io:sda:util=18.5
tsar历史数据回溯
通过参数-d 2可以查出两天前到现在的数据，-i 1表示以每次1分钟作为采集显示。
$ tsar -d 2 -i 1 Time ---cpu-- ---mem-- ---tcp-- -----traffic---- --sda--- ---load- Time util util retran bytin bytout util load1 15/05/16-00:02 ------ 71.40 0.03 754.2K 421.4K 14.38 1.59 15/05/16-00:03 34.55 71.41 0.01 773.7K 400.9K 13.39 1.42
tsar查看指定日期的数据
$ tsar --load -d 20160518 #指定日期,格式YYYYMMDD Time -------------------load----------------- Time load1 load5 load15 runq plit 18/05/16-09:20 0.00 0.00 0.00 0.00 147.00 18/05/16-09:25 0.00 0.00 0.00 0.00 147.00
tsar查看所有字段
$ tsar --mem -D Time -----------------------mem---------------------- Time free used buff cach total util 18/05/16-09:20 1333063680.00 480555008.00 38567936.00 100483072.00 1952669696.00 24.61 18/05/16-09:25 1333542912.00 479940608.00 38682624.00 100503552.00 1952669696.00 24.58
查看fstab指定挂在的系统目录的使用情况 ，-I指定查看某个目录
$ tsar --partition -I / Time ---------------------------/---------------------------- Time bfree bused btotl util ifree itotl iutil 18/05/16-09:20 27.5G 19.1G 49.1G 42.00 2.7M 3.1M 14.71 18/05/16-09:25 27.5G 19.1G 49.1G 42.00 2.7M 3.1M 14.71
Tsar监控应用
Tsar默认支持的模块,如下
$ ls /usr/local/tsar/modules mod_apache.so mod_haproxy.so mod_load.so mod_mem.so mod_nginx.so mod_pcsw.so mod_pernic.so mod_squid.so mod_tcp.so mod_traffic.so mod_cpu.so mod_io.so mod_lvs.so mod_ncpu.so mod_partition.so mod_percpu.so mod_proc.so mod_swap.so mod_tcpx.so mod_udp.so
默认安装完后，只启用了系统相关的模块。如要监控应用就需手动启用相应模块，以Nginx为例
$ vim /etc/tsar/tsar.conf mod_nginx on
验证Nginx模块是否启用
$ tsar -L|grep nginx nginx
配置Nginx
该配置主要是为nginx开启status统计页面,给tsar提供http数据。Tsar统计的原理是通过获取status页面的输出结果，并对输出内容进行统计和计算得出的结果。而且其获取状态页的url默认是http://127.0.0.1/nginx_status ，所以在nginx上你必须有如下的配置
location /nginx_status {
stub_status on;
access_log off;
allow 127.0.0.1;
deny all;
}
注：以上的url并非不能更改，可以修改环境变量实现。其自带的几个环境变量如下。
export NGX_TSAR_HOST=192.168.0.1 export NGX_TSAR_PORT=8080 export NGX_TSAR_SERVER_NAME=status.taobao.com export NGX_TSAR_URI=/nginx_status
监控Nginx状态
$ tsar --nginx -l -i 2 Time ----------------------------------------------nginx--------------------------------------------- Time accept handle reqs active read write wait qps rt sslqps spdyps sslhst 18/05/16-13:11:30 1.00 1.00 1.00 1.00 0.00 1.00 0.00 0.20 0.00 0.00 0.00 0.00 18/05/16-13:11:35 1.00 1.00 1.00 1.00 0.00 1.00 0