équilibreur de charge d'équilibrage de charge flume

L'équilibrage de charge est utilisé pour résoudre une machine (un processus) ne peut pas résoudre toutes les demandes d'un algorithme généré. L'équilibrage de charge la fonction d'équilibrage de charge de processeur d'évier peut être réalisé, comme représenté Agent1 est un noeud de routage, il est responsable du canal récepteur d'événements stockés temporairement égalisé à une pluralité de composants correspondant, et chaque composant est raccordé à un séparé évier - agent, par exemple configuration comme suit:

 

on charge ici analogiques symétriques par flume trois machines

Trois machines prévues comme suit:

node01: la collecte de données, transmis à la machine jusqu'à node02 et node03

node02: une partie de réception de données de node01

node03: une partie de réception de données de node01

La première étape : le développement node01 serveur « s flume configuration

configuration du serveur node01:

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf

vim load_banlancer_client.conf

#agent name
a1.channels = c1
a1.sources = r1
a1.sinks = k1 k2

#set gruop
a1.sinkgroups = g1
#set sink group
a1.sinkgroups.g1.sinks = k1 k2

#set sources
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /export/taillogs/access_log

#set channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# set sink1
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = node02
a1.sinks.k1.port = 52021

# set sink2
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = node03
a1.sinks.k2.port = 52021


#set failover
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff = true
a1.sinkgroups.g1.processor.selector = round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut=10000


a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c1

Deuxième étape : le développement node02 serveur configuration du canal

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf

vim load_banlancer_server.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = node02
a1.sources.r1.port = 52021

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Describe the sink
a1.sinks.k1.type = logger

# Bind the source and sink to the channel 
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

La troisième étape : le node03 de développement serveur configuration antiroulis

Configuration node03 serveur

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf

vim load_banlancer_server.conf

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.bind = node03
a1.sources.r1.port = 52021

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Describe the sink
a1.sinks.k1.type = logger

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

Quatrième étape : prêt à démarrer le service flume

Démarrez le service node03 flume

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin

bin / canal-ng Agent -n -c a1 conf -f conf / load_banlancer_server.conf -Dflume.root.logger = DEBUG, console

Démarrez le service node02 flume

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin

bin / canal-ng Agent -n -c a1 conf -f conf / load_banlancer_server.conf -Dflume.root.logger = DEBUG, console

Démarrez le service node01 flume

cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin

bin / canal-ng Agent -n -c a1 conf -f conf / load_banlancer_client.conf -Dflume.root.logger = DEBUG, console

Cinquième étape : node01 serveur exécutant le script généré des données

cd / export / coquillages

sh tail-file.sh