Ganglia & RRD
Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现。
Ganglia监控系统的核心有两部分：gmond 和 gmetad：
- gmond在各个节点上运行，负责采集数据；
- gmetad在主节点上运行，负责接收gmond采集上来的数据并将之储存在RRD中。
RRD（Round-Robin Database）是一种固定大小的环形的数据库，一个RRD文件下可以有多个RRA，每个RRA是一个环，环上可以储存的数据个数是固定个，新的数据被记录时会覆盖最旧的那条数据，从而周而复始的记录。
Ganglia将监控数据以RRD的形式储存并通过php展示在web页面上。Ganglia默认的是15秒在RRD中记录一次数据，而RRD默认的格式为：
RRAs "RRA:AVERAGE:0.5:1:244" "RRA:AVERAGE:0.5:24:244" "RRA:AVERAGE:0.5:168:244" "RRA:AVERAGE:0.5:672:244" "RRA:AVERAGE:0.5:5760:374"
这是Ganglia创建的RRD的默认形式，一个RRD文件有五个RRA用来记录数据。
- 第一个RRA一共储存着244个数据，每插入一条数据储存一个数据，Ganglia默认的15s记录一次，这就意味着默认的这个RRA记录着最近61分钟的数据，这也就是在web上看到的一小时的图。
- 第二个RRA一共储存着244个数据，每插入24条数据取平均数，储存一个数据，15s * 24 = 360s，意味着6分钟储存一条数据。总共记录了 6min * 244 = 1464min = 24.4h 约为一天的数据。对应的是web上最近24h的数据图。
- 第三个RRA，每插入168条数据取平均数储存一条数据，15s * 168 = 42min，42分钟记录一条数据，总共记录 42min * 244 = 7.1d 约为一周的数据。
- 第四个RRA，记录最近四周的数据。对应web界面上Last month的数据。
- 第五个RRA记录最近一年的数据。
为什么要更改Ganlia采样、统计及RRD记录的最小间隔
对于简单的集群监控，Ganglia的默认配置是足够的，能够满足集群管理员发现集群的性能表现和一些故障，并判断故障发生在哪里。
但是在进行细致的作业分析时，15s的最小采样间隔是不能够满足需求的。
以笔者研究的spark作业的性能表现为例，对于40G的数据，在4节点、16GB per node、32 cores per node的Spark集群上进行wordcount，作业的总共运行时间平均为53s，而map stage中每个task的运行时间在10s左右，reduce&save stage中每个task的运行时间不过2-4s。
由于spark高效的执行效率，spark运行过程中占用集群资源的行为变化是迅速的，15s的记录间隔是无法察觉的。
因此，为了让Ganglia能够更好的适应Spark的节奏，需要将Ganlia采样、统计及RRD记录的最小间隔由15s改到更小，笔者直接选择在1s。
更改Ganglia配置参数，以更改采样和记录的最小间隔
停止Ganglia的运行
为了避免出现运行错误，在更改配置前关闭ganglia的运行。
在主节点上，使用命令：
service gmetad stop
在各个节点上，使用命令：
service gmond stop
更改gmond配置（更改搜集数据的周期，以及传输传输周期）
gmond的配置在/etc/ganglia/gmond.conf中
对于只取一次值的metric，将time_threshold，因为这些值，如mem_total，会在web端php画图时用到，因为memory那张图中的memory used，并不是通过直接采集数据得到的，而是通过mem_total减去其他值计算得到的，因此，mem_total一开始就应该被获取，因此time_threshold需设为1（默认为1200）。
collection_group { collect_once = yes time_threshold = 1 metric { name = "cpu_num" title = "CPU Count" } ... metric { name = "mem_total" title = "Memory Total" } ... }
对于其他metric，如cpu group中的各个metric，采样与传输的时间也应设置为1（s）
collection_group { collect_every = 20 time_threshold = 90 /* CPU status */ metric { name = "cpu_user" value_threshold = "1.0" title = "CPU User" } metric { name = "cpu_system" value_threshold = "1.0" title = "CPU System" } ... }
即
collect_every = 1 time_threshold = 1
更改gmetad配置（更改记录的最小间隔）
gmetad的配置在/etc/ganglia/gmetad.conf中
# Format: # data_source "my cluster" [polling interval] address1:port addreses2:port ... # The keyword 'data_source' must immediately be followed by a unique # string which identifies the source, then an optional polling interval in # seconds. The source will be polled at this interval on average. # If the polling interval is omitted, 15sec is asssumed.
看到这里有关于[polling interval]的解释，即gmetad会根据从gmond搜集的数据，每一个间隔计算出这个间隔内的平均数将其写入rrd。
而这个参数，是一个非必要的参数，如果用户不指定的话，每15s记录一次。
因此，为了将Ganglia记录最小间隔及RRD中数据的最小时间间隔改为1s，需要在master名称后添加一个参数：1
data_source "my cluster" 1 localhost my.machine.edu:8649 ...
为了让web依然能够顺利的画出一天、一周、一月、一年的图，还应该修改RRD的格式。
原来的采样间隔是15s，现在的采样间隔是1s，就要把每个RRA的容量扩充，或者将除了第一个RRA之外的RRA的记录间隔改大。
两种调整RRD格式的方法：
1.
RRAs "RRA:AVERAGE:0.5:1:3660" "RRA:AVERAGE:0.5:24:3660" "RRA:AVERAGE:0.5:168:3660" "RRA:AVERAGE:0.5:672:3660"
2.
RRAs "RRA:AVERAGE:0.5:1:3660" "RRA:AVERAGE:0.5:360:244" "RRA:AVERAGE:0.5:2520:244" "RRA:AVERAGE:0.5:10080:244"
因为我只需要近一小时的详细数据，因此，我采用第二种方式，RRD的文件会小一些。
清除原有RRD
因为RRD的格式发生变化，和原有的RRD不同，因此，需要将原来的RRD删除，
RRD的文件储存位置的配置在gmetad.conf中：rrd_rootdir。
rrd_rootdir的默认位置在/var/lib/ganglia/rrds，将这个文件夹下的所有文件及文件夹删除即可。
启动Ganglia
在主节点上，使用命令：
service gmetad start
在各个节点上，使用命令：
service gmond start
查看更改之后的效果
service httpd restart
在http://masterhost/ganglia中可以看到更改之后的变化：
最后一张图明显能看出更改之后统计的数据更细腻。