一, 什么是Ganglia ?
- Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含
gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。
二, Ganglia 的安装和部署
- 对分布式集群的安装前规划
| 主机 | 要安装的内容 |
|---|---|
| bigdata01 | web客户端, gmetad, gmond |
| bigdata02 | gmond |
| bigdata03 | gmond |
- 为所有的服务器都安装上
epel-release( Extra Packages for Enterprise Linux - epel), 这个是提供版本较新的高质量软件包的下载源
在每台服务器中运行下列指令:
sudo yum -y install epel-release
注意: 此时可能会出现的错误和解决办法
(前提:python版本为2.7.* , 使用python -V 查看):
vi /usr/libexec/urlgrabber-ext-down, 然后将文本中第一行的**#! /usr/bin/python**改为#! /usr/bin/python2.7
vi /usr/bin/yum, 然后将文本中第一行的**#! /usr/bin/python**改为#! /usr/bin/python2.7
- 在bigdata01上安装web, gmetad,gond
sudo yum -y install ganglia-web
sudo yum -y install ganglia-gmetad
sudo yum -y install ganglia-gmond
- 在bigdata02和bigdata03上安装gmond
sudo yum -y install ganglia-gmond
注意: 在上面执行安装命令时可能会出现的问题:
解决办法:
跳转,cd /etc/yum.repos.d, 然后,vi epel.repo, 把metalink后的https改为http
- 在bigdata01 上修改配置文件
- 修改
/etc/httpd/conf.d/ganglia.conf, 设置ganglia监控信息的前端地址
vi /etc/httpd/conf.d/ganglia.conf
- 修改
/etc/ganglia/gmetad.conf, 配置gmetad, 修改整合监控信息的主机名.
vi /etc/ganglia/gmetad.conf,
扫描二维码关注公众号，回复：
13230230 查看本文章
- 在三台主机上, 修改
/etc/ganglia/gmond.conf
vi /etc/ganglia/gmond.conf
分发gmond.conf.
- 修改
/etc/selinux/config, 关闭selinux
vi /etc/selinux/config
- 启动ganglia,
- 在bigdata01上启动服务如下:
sudo service httpd start
sudo service gmetad start
sudo service gmond start
- 在bigdata02 和 bigdata03启动服务如下:
sudo service gmond start
- 完成以上步骤, 打开
192.168.182.100/ganglia
经常出现的问题及其解决办法:
# 赋予权限.
chmod -R 777 /var/lib/ganglia
- 正常启动, 结果如下:
三, 借助Flume测试Ganglia
- 修改配置文件,
vi /opt/module/flume-1.7.0/conf/env.sh
# 加入以下内容
JAVA_OPTS="-Dflume.monitoring.type=ganglia
-Dflume.monitoring.hosts=192.168.9.102:8649
-Xms100m
-Xmx200m"
- 运行学习flume最初的例子,
flume-netcat-logger.conf, 即使用netcat向指定端口发送数据, flume收集数据, 并打印到控制台.
bin/flume-ng agent \
-n a1 \
-c conf \
-f job/flume-netcat-logger.conf \
-Dflume.root.logger=INFO,console, \
-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=192.168.182.100:8649
-
打开
192.168.182.100/ganglia查看flume的各类信息. -
Ganglia监控图标关键字说明:
