[Flume of Big Data] Восемь, мониторинг потока данных Flume

1 Установка и развертывание Ganglia

(1) Установка
Планирование установки:

установите epel-release в hadoop102, 103, 104:

sudo yum -y install epel-release

Установить по адресу 102: web, gmetad, gmod:

sudo yum -y install ganglia-gmetad
sudo yum -y install ganglia-web
sudo yum -y install ganglia-gmond

Установите gmod на 103, 104:

sudo yum -y install ganglia-gmond

(2) Конфигурация
Проверьте IP-адрес в cmd на хосте:

измените файл конфигурации /etc/httpd/conf.d/ganglia.conf на 102:

sudo vim /etc/httpd/conf.d/ganglia.conf
#修改为

# Ganglia monitoring system php web frontend#

Alias /ganglia /usr/share/ganglia

<Location/ganglia> # Require local
# 通过 windows 访问 ganglia,需要配置 Linux 对应的主机(windows)ip 地址
Require ip 192.168.30.1 
# Require ip 10.1.2.3
# Require host example.org
</Location>

Измените файл конфигурации /etc/ganglia/gmetad.conf на 102:

sudo vim /etc/ganglia/gmetad.conf

#修改为：
data_source "my cluster" hadoop102

Измените файл конфигурации /etc/ganglia/gmond.conf по адресу 102 103 104:

sudo vim /etc/ganglia/gmond.conf
#修改为：
cluster {
    
    
    name = "my cluster"
    owner = "unspecified"
    latlong = "unspecified"
    url = "unspecified"
}
udp_send_channel {
    
    
    #bind_hostname= yes # Highly recommended, soon to be default.# This option tells gmond to use a source
address
    # that resolvesto the machine's hostname.
Without
    # this, the metricsmay appear to come from
any
    # interface and the DNS names associated with # those IPs will be used to create the RRDs.
    # mcast_join = 239.2.11.71
    # 数据发送给 hadoop102
    host = hadoop102
    port = 8649
    ttl = 1
}
udp_recv_channel {
    
    
    # mcast_join = 239.2.11.71
    port = 8649
    # 接收来自任意连接的数据
    bind = 0.0.0.0
    retry_bind = true
    # Size of the UDP buffer. If you are handling lots of metrics you really
    # should bump it up to e.g. 10MB or even higher. # buffer = 10485760
}

Измените файл конфигурации /etc/selinux/config на 102:

sudo vim /etc/selinux/config

#修改为：
# This file controls the state of SELinux on the system. # SELINUX= can take one of these three values:
#enforcing - SELinux security policy is enforced.
#permissive - SELinux prints warnings instead of enforcing. #disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values: #targeted - Targeted processes are protected, #mls - Multi Level Security protection.
SELINUXTYPE=targeted

Кричащее напоминание: selinux должен быть перезапущен, чтобы он вступил в силу.Если вы не хотите перезапускать, вы можете временно вступить в силу:

sudo setenforce 0

(3) Запуск
по номеру 102 103 104:

sudo systemctl start gmond

Начните со 102:

sudo systemctl start httpd
sudo systemctl start gmetad

Измените права доступа к каталогу /var/lib/ganglia:

sudo chmod -R 777 /var/lib/ganglia

Откройте страницу ганглиев в браузере Windows: http://hadoop102/ganglia

2 Включите мониторинг тестирования Flume

Дополнительные данные при запуске задачи Flume:

-Dflume.root.logger=INFO,console 
-Dflume.monitoring.type=ganglia 
-Dflume.monitoring.hosts=hadoop102:8649