principio aforador

En primer lugar, ¿cuál es el canal de flujo

1.1 Definiciones

Canal de flujo Cloudera es proporcionar un distribuidos altamente disponibles, altamente fiables los sistemas masivos de recopilación de registros, la agregación y de transmisión . arquitectura basada en el flujo de canal de flujo.

1.2 ¿Por qué Flume

Debido a que el uso de hdfs tradicionalmente poner los datos transmitidos desde los locales de esta manera hdfs mal tiempo real, monitoreo en tiempo real y canal puede ser un archivo, una carpeta o puerto.

Dos, Canal de flujo principio

Gráfico 2.1

agente:

Agente es un proceso de JVM, envía los datos desde el origen hasta el destino en forma de eventos.

evento:

Evento es la unidad básica de transmisión de datos Canal de flujo, composición que es <K, V> forma, K es el encabezado, V es el cuerpo.

Asuntos poner:

doPut: putList escribió en los datos del lote

doCommit: Comprobar la adecuación de la cola de memoria de canal combinado

canal doRollback: canal es insuficiente memoria del espacio de cola, rollback datos

Tomar el asunto:

doTake: apropiación de los datos a la memoria intermedia takeList

doCommit: Si todos los datos se escriben correctamente, claro takeList buffer temporal

doRollback: durante la transmisión de datos si se produce una excepción, takeList roolback en la cola de la memoria tampón de datos devueltos al canal

Tres componentes 2.2

Fuente:

Fuente es responsable de recibir los datos del Agente Flume componente. Fuente puede manejar varios tipos de datos de registro en varios formatos, incluyendo Avro , Thrift, Exec , JMS, la cola de impresión Directorio , tailDir , netcat similares.

exec: realizar en el arranque dado comandos Unix, y es deseable generar los datos de proceso en la salida estándar (por defecto stderr no se emite a menos que el conjunto logStdErr a verdadero).

tailDir: monitoreo en tiempo real de datos, y por medio de la documentación cada vez que una posición para alcanzar la posición función de lectura sin pérdida de datos

poner en cola directorio: supervisar una carpeta especificada si desea añadir un nuevo archivo, si el archivo se añadirá a ella en la parte posterior, más un sufijo para identificar el nuevo archivo, y luego, si los cambios en los archivos, entonces esto va a ser ignorado, por lo que no se puede cambiar a la carpeta poner el mismo nombre de archivo.

Canal:

Canal de fuente y sumidero está situado entre el tampón como la fuente de datos recibe los datos de velocidad pueden ser escritos y la velocidad de una falta de coincidencia, la Channl añaden como un tampón.

Canal Hay dos tipos, uno es el canal de archivos, uno es el canal de memoria, el canal de archivos es lenta, pero segura, el canal de memoria rápida pero segura.

Lavabo:

Fregadero sondea continuamente el canal de eventos y mayor para eliminarlos, y estos acontecimientos mayor escritura se escribe en el destino.

Lavabo es completamente transaccional . Antes de eliminar la operación de lote de canal, cada fregadero inicia una transacción con el canal. Una vez que el lote de eventos escrito correctamente en el destino, fregadero en el uso de Canal presentar una transacción, una vez que se confirme la transacción, el canal de eventos de borrado de su propio buffer interno.

2.3 topología Flume

NOTA: Hay un lavabo recibir múltiples canales, porque va a ser un desastre.

1, (Flume El Canal de flujo a) una disposición en serie (topología otra base):

2, un número correspondiente de canales de origen (este lugar se puede realizar de dos maneras, una copia de los mecanismos y múltiples mecanismos de selección)

3, correspondiente a una pluralidad de receptores de canal (equilibrio de carga o de conmutación por error):

​

4, una fuente correspondiente a la pluralidad Sink (polimerización):

2.5 principio interno Agente

Tres, Canal de flujo avanzada

3.1 de conmutación por error

estrategia de conmutación por error se aforador: por ejemplo, un canal conecta múltiples fregadero, fregadero comienzo de estas será una prioridad, como k1: 10, k2: 5, K3: 1, el Canal de comenzar a escribir los datos a k1, k1 si es hacia abajo, se escribir a años c2; configurar la conmutación por error, había un argumento es maxPenalty (el valor predeterminado es 30 segundos), si en el proceso de la escritura en k1 y k2 se reanudó, pero si es la respuesta dentro de los 30 segundos, y luego se mantiene a escribir en k2, k1 descienden a escribir después de 30 segundos.

interceptor 3.2 personalizada

3.3 Fuente personalizada

3.4 Sink personalizada

​

​

​