Canal de flujo Introducción
1: Visión general
Canal de flujo Cloudera es proporcionar un distribuidas sistemas de recopilación de registros, la agregación y la transmisión, altamente fiables y de alta disponibilidad masivas.
archivo de salida Canal de flujo puede ser recogido, paquete de socket, carpetas y otras formas de fuentes de datos, y los datos se pueden recoger a la HDFS, hbase, colmena, kafka y otro sistema de almacenamiento externo.
reuniendo los requisitos generales, a través de una sencilla configuración del canal se pueden realizar.
Canal de flujo para escenas específicas también tienen una buena capacidad de extensión personalizada, por lo tanto, canal puede ser utilizado para la mayoría de los escenarios de rutina de recolección de datos.
2: mecanismo operativo
Canal de flujo distribuido sistema es el agente más central papel, sistema de adquisición de canal de flujo es el formado por la conexión del agente.
Cada agente actúa como un miembro de transferencia de datos, el interior tiene tres componentes:
a) Fuente: Fuente de adquisición para acoplarse con una fuente de datos para obtener los datos.
b) Sink: destino de transmisión avellanada, recopilación de datos, la transferencia de datos de agente para la siguiente etapa o al sistema de almacenamiento de datos entrega final
c) Canal: canal de transmisión de datos angent interior para transmitir datos desde la fuente hasta el fregadero.
3: estructuras complejas
Serie entre el agente de varios niveles
(1) La primera: agente de serie 2
(2) La segunda: una pluralidad de agente de adquisición de datos agregarse
(3) En tercer lugar: Los datos recogidos a un sistema diferente en la capa inferior
caso real aforador
1: el despliegue de instalación Flume
a) la instalación del canal de flujo es muy sencillo, basta con descomprimir a, por supuesto, que hay entorno hadoop para cargar el paquete de instalación a todos los elementos de datos en el nodo
b) a continuación, extraer tar -zxvf apache-canal-1.6.0-bin.tar.gz
c) el canal en el directorio, flume-enc.sh bajo conf modificado, dispuesto en el interior JAVA_HOME
programa de adquisición de configuración de acuerdo con las necesidades de la adquisición de datos, se describe en el fichero de configuración (el nombre de archivo puede ser arbitrariamente definido)
programa de adquisición especifica el perfil, a partir de agente de canal de flujo en el nodo correspondiente
2: Caso simple
a) A continuación, cree un nuevo archivo en el canal directorio conf
que NETCAT-logger.conf
# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = hadoop01
a1.sources.r1.port = 44444
# 描述和配置sink组件：k1
a1.sinks.k1.type = logger
# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 描述和配置source channel sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2、启动agent去采集数据
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,consoleb) agente de activación a los datos de cobro revertido
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,consoledirectorio de archivos de configuración conf -c canal designado propia
-f conf sistema de recogida designado / netcat-logger.con hemos descrito
A1 -n especifica el nombre de nuestro agente
3: Prueba
En primer lugar para enviar datos a la adquisición agente de puerto de monitor, por lo que no hay datos de agente recuperable, la charla agente casualmente a una máquina de nodo de red
telnet anget-hostname port （telnet itcast01 44444） 
componentes fuente
| fuente Tipo | explicación |
| Avro Fuente | contrato de soporte Avro (Avro realidad RPC), una función de apoyo. |
| Fuente Exec | Producir datos de salida en base a la orden de la norma Unix |
| Directorio de cola de impresión Fuente | Seguimiento de los cambios de datos en el directorio especificado. |
| Fuente netcat | Un puerto de monitor, cada línea de datos de texto corriente puerto de entrada como el evento. |
| Thrift Fuente | compatibilidad con el protocolo de segunda mano, una función de apoyo. |
| JMS Fuente | la lectura de datos desde el sistema JMS (tema del mensaje) en, la ActiveMQ sido probado. |
| Secuencia de fuente del generador | Una fuente generador de secuencia de datos, los datos de serie del fabricante. |
| Fuente syslog | Leer datos de syslog, la generación de eventos, TPC y UDP soporta ambos protocolos. |
| Fuente HTTP | Sobre la base de la fuente de datos HTTP POST o GET modo, el soporte para JSON, formas BLOB. |
| Fuente legado | Fuente compatible (0.9.x de versión) en el antiguo Canal de flujo OG. |
componentes de canal
| tipo de canal | explicación |
| Canal de memoria | La información de evento se almacena en la memoria. |
| Canal archivo | La información de evento se almacena en un archivo de disco. |
| JDBC Canal | La información de evento se almacena en el almacenamiento persistente, el actual canal de flujo soporte integrado base de datos Derby. |
| Canal de Memoria spillable | La información de evento se almacena en la memoria y en el disco cuando la cola de memoria está llena, se mantuvo al archivo de disco. |
| Pseudo Canal de Transacción | propósitos de prueba |
| canales personalizados | aplicación de canal personalizado. |
componentes del fregadero
| tipo de fregadero | explicación |
| HDFS Sink | Los datos se escriben a HDFS. |
| Avro Sink | Los datos se convierten en Avro evento, y luego enviado a los puertos RPC configurados. |
| Thrift Sink | Los datos se convierten en eventos Thrift, y luego enviado a los puertos RPC configurados. |
| IRC Sink | reproducción de datos en el IRC. |
| Presentar rodillo de inmersión | Los datos almacenados en un sistema de archivos local. |
| nula Sink | Rechazando todos los datos. |
| HBase Sink | HBase datos se escriben en la base de datos. |
| Morphline Solr Sink | Enviar datos al servidor de búsqueda Solr. |
| Elasticsearch Sink | Elástica Buscar envía los datos al servidor (cluster) |
| Sink personalizada | Costumbre fregadero lograr |
Canal de flujo soportar un gran número de fuentes, canal, tipo de fregadero, manuales detallados se refieren a la documentación oficial http://flume.apache.org/FlumeUserGuide.html
