prefacio
Flink Apache ha sido reconocido como el mejor motor de cálculo de flujo de la industria. Sin embargo, Flink realmente no confinado a un motor de procesamiento de flujo. Posicionar tanto Apache Flink es un lote de flujo, aprendizaje automático y otras funciones de computación de motor de datos de gran tamaño.
En los últimos tiempos, Flink han hecho grandes avances en muchas gran escena de datos por lotes y aprendizaje automático. Por un lado Flink lotes calculada después de que Ali tenía que optimizar el orden de magnitud de mejora. Por otro lado, la comunidad Flink son gradualmente la fuerza en tableAPI, Python, y ML y muchas otras áreas, seguir mejorando el usuario haga la ciencia de datos y AI experiencia informática. Además, también se incrementa gradualmente Flink y otras experiencias de integración de software de código abierto, incluyendo la colmena, no Notebook (Zeppelin, Jupyter) y así sucesivamente.
camino de aprendizaje Flink
Flink Ali, bits, bytes golpeo, el grupo estadounidense, el único estado de desarrollo de productos Ctrip es lo que?
En la situación actual 1.Flink Ali
Basado en la plataforma Apache Flink Alibaba construido en 2016 lanzó formalmente, y comenzar a aplicar estas dos escenas de la búsqueda y recomendación de Ali Baba. Todo Alibaba negocio actual, Alibaba incluyen todas las filiales han adoptado el tiempo real basada Flink plataforma informática construida. Mientras tanto Flink plataforma de computación para ejecutar en el cluster Hadoop de código abierto. A medida que el uso de Hadoop HILO Programador de Gestión de Recursos de HDFS como el almacenamiento de datos. Por lo tanto, Flink puede y software de código abierto Hadoop grandes volúmenes de datos sin problemas.
Actualmente, este Flink construido en base a tiempo real plataforma no sólo servir al Grupo Alibaba interna y soporte de productos Flink basado en la nube por productos Ali nube nube a todo el ecosistema de desarrolladores API de cómputo.
2.Apache Flink en piezas
En la broca, sustancialmente la totalidad de los datos se puede dividir en cuatro bloques:
1, pistas de datos: datos de la pista y los datos de la orden tienden a ser de especial interés para el lado del negocio. Al mismo tiempo, ya que cada usuario en un taxi con
Después, hay que ver su huella en tiempo real, por lo que estos datos tienen un fuerte requisitos de tiempo real.
2, los datos de transacción: datos de la transacción a poco,
3, los datos Buried: piezas de datos de servicio Buried cada lado, que comprende una un extremo posterior de todos los datos de servicio de terminal y,
4, los datos de registro: Todo el sistema de registro tiene alguna particularmente fuerte demanda en tiempo real.
3. bytes superando la práctica la migración Jstorm a Apache Flink de
debajo de esta imagen muestra un byte superando escena de negocios de la compañía
En primer lugar, los anuncios de la capa de aplicación, prueba de AB, empujar, almacenamiento de datos y otros servicios; resúmenes de capa en segundo intermedios para los usuarios pitón una plantilla, los usuarios sólo tienen que escribir su propio código de negocio en la plantilla, con un yaml configuración de boquilla, perno de la composición de DAG la figura; finalmente, el motor de cálculo de ejecución en Jstorm.
Probablemente alrededor de 17 años en julio, cuando el número de grupos Jstorm probablemente alrededor de 20, tamaño del cluster hasta 5000 máquinas.
corporaciones 4.Apache Flink estadounidenses en práctica y la aplicación de la
plataforma de tiempo real para el estado y el fondo de la Misión de EE.UU.
arquitectura de la plataforma en tiempo real
La figura que se presenta es un marco breve de la misión actual de Estados Unidos en la plataforma de tiempo real. La capa inferior es la caché de datos, se puede ver el grupo estadounidense de registro de datos medidos para todas las clases, Kafka se recogen a través de un sistema de recopilación de registros unificado. capa de Kafka como la mayor transferencia de datos, grupo estadounidense que soporta una gran cantidad de líneas de negocio, incluyendo quitándose, y parte del negocio de procesamiento en tiempo real. En la parte superior de la capa de caché de datos, se trata de una capa de motor, que es el lado izquierdo del motor de cálculo en tiempo real que actualmente ofrecemos, incluyendo la tormenta y Apache Flink (en lo sucesivo, Flink). Antes de la tormenta se implementa el modo independiente, Flink debido al entorno en el que está operando ahora, el grupo estadounidense escogió En el modo de hilado, además del motor de cálculo, también ofrecemos una función de almacenamiento en tiempo real para almacenar cálculos estado intermedio, el resultado del cálculo, y los datos de dimensión, este tipo de almacenamiento contiene actualmente hbase, Redis y ES. En el motor de cálculo anterior, tiende a ser la capa variada, esta capa es principalmente el desarrollo de datos orientada de los estudiantes. desarrollo de datos en tiempo real se enfrenta a muchos problemas, como la depuración de los aspectos de sintonía del programa va a desarrollar una gran cantidad de dificultades que los programas ordinarios. En esta plataforma de datos de capa, la Misión de los Estados Unidos para proporcionar orientado al usuario, en tiempo real plataforma de computación, no sólo puede albergar trabajo, puede también lograr diagnósticos de ajuste y monitorización de alarmas, además de la recuperación de datos y los derechos de gestión en tiempo real y otras funciones. Además de proporcionar en tiempo real plataforma para el desarrollo de datos orientada a la computación de los estudiantes, el grupo estadounidense está haciendo ahora también incluye la construcción de un centro de metadatos. Este es el futuro que queremos ser un requisito previo para SQL, el centro de metadatos es una parte importante de la realización en tiempo real del sistema de transmisión, podemos entender como un sistema en tiempo real del cerebro, que puede almacenar los datos de esquema, Meta. La arquitectura de nivel superior es que ahora soporte en tiempo real plataforma informática empresarial, no sólo contiene la consulta en tiempo real y recuperación de registro de negocio en línea, sino que también abarca el aprendizaje de la máquina en tiempo real muy popular actual. Aprendizaje de las máquinas a menudo implican la búsqueda y la escena de recomendación, dos escenas de las características más notables:
En primer lugar, se producen masivas de datos en tiempo real;
En segundo lugar, el flujo de QPS bastante alto. En este punto hay que extraer en tiempo real parte de cálculo de trabajo de la plataforma de soporte de carga de las características en tiempo real, para lograr las aplicaciones de servicio de búsqueda recomendadas. Otro tipo es escenario más común, incluso en tiempo real ofrece la polimerización, cebra Vigía (monitorización puede ser considerada una clase de servicio), y otra de almacén de datos en tiempo real.
Estos son los tiempos reales de computación breve grupo estadounidense plataformas basadas en la actualidad.
5. la Flink Apache en la práctica sólo producto será el
contenido principal de este documento incluye los siguientes aspectos:
1. Estado del único producto de plataforma en tiempo real
2. Apache Flink (en lo sucesivo, Flink) en la práctica sólo voluntad producto
3. En Flink K8S
4. Seguimiento del Plan
6. plataforma Ctrip basado en características en tiempo real de Apache Flink
arquitectura del sistema de plataforma de función
Lamda arquitectura es ahora la arquitectura estándar, la parte en línea por la chispa sql + DATAX composición. KV ahora se utiliza para sistema de almacenamiento Aerospike, Redis con la principal diferencia es el uso de SSD como memoria principal, que mide la presión hacia abajo la mayor parte de las escenas en el orden Redis leen y rendimiento de escritura con los mismos datos.
En tiempo real parte: el uso flink como un motor de cálculo, nos dice sobre el camino del usuario:
• Registro de Fuente de datos: actualmente es compatible con las fuentes de datos en tiempo real sobre todo Kafka y aeropunta, donde los datos Aerospike en tiempo real o fuera de línea si está configurado funciones en la plataforma, se registrará automáticamente. archivo de origen de datos kafka que va a cargar schemaSample correspondientes
• la lógica computacional: Expresión Con SQL
• Definir salida: Salida después Aerospike definición de la tabla puede ser necesaria y Kafka tema, inserción o actualización configurado para enviar datos a una clave de usuario para completar la operación anterior, toda la información se escribe en el perfil de plataforma de JSON. El archivo siguiente configuración de la plataforma y antes de la flinkTemplate.jar preparada (que contiene todas las plataformas necesarias función Flink) presentado al hilo, a partir trabajo Flink.
A medida que las restricciones de contenido del artículo, el contenido de los documentos del caso que también hizo una breve introducción, artículos técnicos, no hago demasiado introducción, necesitamos este manual de buenas prácticas] [documentación técnica Flink, puede reenviar la serie pequeña preocupación , carta privada Xiaobian "documentos" para conseguir manera de conseguir ~ ~ ~ ~
I Come aprender Ja, gracias por su apoyo!
