Flink combate real: ¿cómo resolver los problemas técnicos en la aplicación?

¡Cuenta regresiva de 5 días! Del 25 al 26 de abril, se lanzará la primera conferencia en línea del proyecto de nivel superior Apache del mundo, Flink Forward Elite Edition.

La esencia de Flink Forward Global Online Conference es la transmisión en vivo en chino. El contenido principal se divide en Keynote y la parte de conversación más interesante de la votación comunitaria. La charla original en inglés es traducida y explicada por los contribuyentes principales de Apache Flink. Puede conectarse directamente en línea gratis Mira Este artículo detallará la agenda de transmisión en vivo en la tarde del 25 de abril.

4/25 Flink Forward Live Afternoon Highlights

1. Keynote : puede conocer los últimos avances de la integración de Cloudera con Flink.
2. Serie de prácticas : compartiré la práctica de aplicación de Uber Flink CEP, la expansión y contracción automática de Netflix, la aplicación a gran escala de Didi StreamSQL y cuáles son los materiales de enseñanza negativos de peor práctica.
3. Ecología de la comunidad : Presente la aplicación práctica de PyFlink + Zeppelin, cómo usar AI Flow y Flink para definir un flujo de trabajo de AI a nivel de producción.
4. Flink SQL : se compartirá un análisis en profundidad de Flink SQL y las últimas tendencias de 2020.

■ Talk 1

圆桌 | Keynote: Apache Flink - Completando la plataforma de transmisión de extremo a extremo de Cloudera

En enero de este año, Cloudera Hadoop Arun anunció en Twitter que Cloudera Data Platform integró oficialmente a Flink como su producto informático de flujo, y el presidente de Apache Flink PMC Stephan también respondió: "Este movimiento es significativo". Esto significa que todas las distribuciones de CDH cubren el mundo Los usuarios comerciales podrán usar Flink para el procesamiento de datos en streaming.

Hoy, ¿cuál es el rendimiento de Cloudera Data Platform integrada con Flink? En este Flink Forward, los expertos técnicos de Cloudera compartirán las funciones detalladas y los detalles técnicos de su plataforma de procesamiento de flujo de extremo a extremo.

Compartir invitados:

• Marton Balassi, Apache Flink PMC, uno de los primeros contribuyentes a la API de transmisión.
• Joe Witt, vicepresidente de ingeniería de Cloudera, se especializa en productos Cloudera Data Flow (CDF).

Comentarios invitados:

Yang Kete (Rooney), miembro de Apache, Apache Flink PMC, experto técnico superior de Alibaba.

■ Talk 2

Mesa redonda | Flink SQL 2020: Quiénes somos

Hace cuatro años, la comunidad Apache Flink comenzó a agregar soporte SQL para simplificar y unificar el procesamiento de datos estáticos y de transmisión. Hoy, Flink ejecuta consultas SQL de lotes y de transmisión de datos críticos para el negocio en Alibaba, Huawei, Lyft, Uber, Yelp y muchas otras empresas. Aunque la comunidad ha logrado un progreso significativo en los últimos años, todavía hay objetivos de largo alcance en el plan, y también estamos acelerando el desarrollo.

En los últimos meses, la comunidad ha agregado algunas mejoras y extensiones importantes, incluido el soporte para DDL, la refactorización del sistema de tipos y la interfaz del catálogo, y la integración de Apache Hive. Para seguir todo el trabajo de desarrollo realizado por Flink SQL y su ecosistema, esta conferencia se centrará en presentar Flink SQL en 2020 con un ejemplo completo de un sistema. Según el escenario de caso de uso real, mostraremos:

• Cómo definir tablas compatibles con varios sistemas de almacenamiento
• Cómo usar la transmisión de consultas SQL para resolver problemas comunes
• Demostrar la integración de Flink y Hive.
• Demostrar cómo definir y usar funciones definidas por el usuario.

Y compartiremos las próximas características y las perspectivas futuras.

Compartir invitados:

• Fabian Hueske, Apache Flink PMC。
• Timo Walther, Apache Flink PMC。

Comentarios invitados:

Wu Chong (Yun Xie), Apache Flink PMC, experto técnico de Alibaba.

■ Talk 3

Mesa redonda | Apache Flink dolor de mal uso

El procesamiento de flujo distribuido está evolucionando de una tecnología al borde del big data a una tecnología clave que permite a las empresas proporcionar servicios en tiempo real altamente escalables a sus clientes. Ververica, la empresa matriz de la empresa Apache Flink, y otros usuarios de la comunidad de Flink han sido testigos de este desarrollo. En cooperación con nuestros usuarios y la comunidad en general, hemos visto algunos casos exitosos y también vimos algunos problemas.

En esta charla, compartiré algunas anécdotas y lecciones aprendidas sobre el uso del procesamiento de flujo distribuido, incluido el marco único y cruzado de Apache Flink. Al compartir esto, comprenderá cómo eliminar la ocurrencia de fallas y cómo mirar la pantalla grande sin preocuparse.

Compartir invitados: Konstantin Knauf, líder de producto de la plataforma Ververica.

Oradores invitados: Sun Jincheng (Jinzhu), miembro de Apache, Apache Flink PMC, experto técnico superior de Alibaba.

■ Talk 4

Mesa redonda | Escala automática de Flink de Netflix

La tubería de datos de Keystone administra miles de tuberías de Flink con cargas de trabajo variables. Estas tuberías son rutas de datos simples que leen de Kafka y escriben en uno de los tres receptores. Para reducir la sobrecarga de la operación, hemos implementado la expansión y contracción automática para estos programas de enrutamiento.

El escalado automático reduce el uso de nuestros recursos en un 25% -45% (varía según la región y el tiempo), lo que reduce en gran medida la carga. Esta charla profundizará en los detalles de las matemáticas, los algoritmos y los detalles de infraestructura para el escalado automático de tuberías simples a gran escala y discutirá el trabajo futuro de la escala automática de tuberías complejas.

Compartir invitados : Timothy Farkas, ingeniero de software de Netflix.

Orador invitado : Lv Wenlong (Long San), experto técnico de Alibaba.

■ Talk 5

Mesa redonda | Uber: práctica del uso de Flink CEP para la detección de situaciones geográficas

Uber opera en un mundo físico complejo. Uno de los desafíos de proporcionar servicios confiables es detectar la geolocalización y las escenas dinámicas en tiempo real, como puntos calientes en el espacio, calles de oferta / demanda desequilibradas, etc. Debido a la escala global de Uber y las calles y el tráfico congestionados, este problema es difícil de resolver.

Para resolver este problema, los ingenieros de Uber crearon una plataforma de detección de condición geoespacial compatible con las bibliotecas Apache Flink y CEP. En esta charla, los ingenieros de Uber presentarán cómo usar Apache Flink y derivarán la semántica geoespacial y los desafíos involucrados en varias tecnologías construidas y adoptadas en la plataforma a través de la coincidencia de patrones CEP.

Compartir invitados : Teng (Niel) Hu, ingeniero de software de Uber.

Oradores invitados : Fu Dian, Apache Flink Committer, experto técnico de Alibaba.

■ Talk 6

Presentación | Una inmersión profunda en Flink SQL

En las últimas dos versiones principales (1.9 y 1.10), la comunidad Apache Flink ha gastado mucha energía para transformar la arquitectura y hacerla más unificada. Un ejemplo es que Flink SQL proporciona soporte para múltiples planificadores SQL bajo un conjunto de API. Esta conferencia primero discutirá la motivación detrás de estas acciones, y luego profundizará en Flink SQL para presentar algunos de sus mecanismos operativos internos.

Esta presentación presentará la arquitectura unificada de los lotes de transmisión y cómo Flink traduce las consultas en expresiones relacionales, y usa Calcite para optimizarlas, y luego genera un código de tiempo de ejecución eficiente. Además, también presentará el ciclo de vida de la consulta en detalle, cómo funcionan algunas optimizaciones comunes, cómo Flink usa el formato de datos binarios como la estructura de datos básica y cómo funcionan ciertos operadores específicos. Esto brindará a los oyentes una mejor comprensión de los mecanismos internos de Flink SQL.

Compartir invitados:

• Yang Kete (Rooney), miembro de Apache, Apache Flink PMC, experto técnico superior de Alibaba.
• Wu Chong (Yun Xie) Apache Flink PMC, experto técnico de Alibaba.

■ Talk 7

Discurso | Aplicación de Flink en Didi

Didi tiene escenarios informáticos en tiempo real. Flink ha sido ampliamente utilizado en monitoreo en tiempo real, canales de datos, extracción de características, almacenamiento de datos en tiempo real, negocios en línea y otros campos. También hemos construido productos StreamSQL basados ​​en la API de la tabla Flink, combinados con una plataforma de desarrollo integral. Reducción del costo de uso del usuario. En la actualidad, la cobertura de StreamSQL ha excedido el 80%. En la actualidad, las tareas informáticas en tiempo real de Didi han alcanzado más de 7000, y la cantidad de datos procesados ​​diariamente supera los 2 billones.

Orador invitado: Xue Kang, experto técnico actual de Didi, responsable de la informática en tiempo real. Se graduó de la Universidad de Zhejiang y fue ingeniero senior de I + D en Baidu. Tiene una amplia experiencia en la construcción ecológica de big data.

■ Talk 8

Discurso | Finalmente esperándote: PyFlink + Zeppelin

Flink ha progresado enormemente en su motor unificado de procesamiento central de lotes y transmisiones, pero el umbral para que los usuarios puedan comenzar es aún muy alto. Por ejemplo, es especialmente difícil para los analistas de datos y científicos de datos que solo están familiarizados con Python y SQL. Durante muchos años, los usuarios han solicitado proporcionar soporte Python integrado y completo en Apache Flink para que puedan aprovechar las características únicas de Flink mientras usan sus lenguajes de programación familiares.

La versión 1.9 de Apache Flink agregó la API Python Table (también conocida como PyFlink); y agregó soporte para Python UDF nativo (Portability Framework basado en Apache Beam) en 1.10. En el futuro, continuaremos mejorando PyFlink. En la próxima versión, admitiremos la definición del proceso de aprendizaje automático de Python, que permitirá a los usuarios implementar aplicaciones complejas de aprendizaje automático por completo en PyFlink. Además, también integramos el portátil Flink y Zeppelin, y rediseñamos el antiguo intérprete de Flink en Zeppelin, lo que lo hace adecuado para los siguientes tres escenarios principales de Flink:

Procesamiento por lotes ETL y análisis de datos exploratorios a
través del procesamiento por lotes de Flink SQL + UDF + función de visualización incorporada de Zeppelin; transmisión ETL y análisis de datos de transmisión a través de Flink streaming SQL + UDF + función de visualización incorporada de Zeppelin; a
través de PyFlink + Alink Escribe un proceso de aprendizaje automático.

Compartir invitados:

• Sun Jincheng (Jinzhu), miembro de Apache, Apache Flink PMC, experto técnico superior de Alibaba.
• Zhang Jianfeng (Jian Feng), miembro de Apache, Apache Zeppelin PMC, experto técnico superior de Alibaba.

■ Talk 9

Speech | Flink + AI Flow: facilitando la IA

En la actualidad, ya hay muchos proyectos para ayudar a los usuarios a construir sus plataformas de inteligencia artificial, como MLFlow, TFX, Metaflow, Sagemaker, etc. La mayoría de estos proyectos se enfocan en capacitación fuera de línea y escenarios de inferencia en línea, y algunos de ellos solo están disponibles en motores y plataformas específicos.

En esta presentación, presentaremos un nuevo proyecto llamado AI Flow, que resuelve procesos de capacitación tanto en línea como fuera de línea, y no depende en gran medida de motores y plataformas, por lo que los usuarios pueden definir fácilmente un entorno altamente mixto. Flujo de trabajo de IA. Por otro lado, como un motor unificado, Flink es uno de los pocos motores que puede implementar toda la semántica definida en AI Flow. Vamos a demostrar cómo los usuarios pueden usar AI Flow y Flink para definir un flujo de trabajo de AI a nivel de producción.

Compartir invitados: Qin Jiangjie, Apache Flink PMC, experto técnico superior de Alibaba.

Flink Forward Conferencia mundial en línea Edición de la esencia china

■ La mejor manera de mirar

Esta transmisión en vivo se realizará en el sitio web oficial de la versión china de la conferencia Flink Forward. Haga clic en "Leer original" o copie el enlace en el sitio web oficial a continuación para obtener más detalles. Después de registrarse e iniciar sesión, puede programar una transmisión en vivo para ver. En ese momento, la comunidad le recordará que participe en forma de notificación por SMS por adelantado.

Reserva en vivo del sitio web oficial de la conferencia:
https://developer.aliyun.com/topic/ffsf2020

Después de que la reserva sea exitosa, se muestra lo siguiente:

■ Versión completa de la agenda

Flink Forward Global Live Essence Edition se divide en cuatro partes: temas clave principales, mejores prácticas de Flink, aplicaciones de tecnología en profundidad y ecología comunitaria. El formulario se transmite en vivo por turnos desde Beijing, Shanghai y Hangzhou. Aquí pasará la práctica de diversos escenarios Estudios de caso Las principales ventajas y el desarrollo futuro de Flink.

• Tiempo en vivo: 25-26 de abril

• Compartir invitados:

  • Miembro de Apache 、 Flink PMC
  • Colaborador principal de Apache Flink
  • Experto técnico de primera línea de Dachang
• Agenda detallada:

(El último número está sujeto a la realidad)

¡Del 25 al 26 de abril, bloquee la edición de resumen chino en vivo global de Flink Forward! Para obtener más detalles de la conferencia, escanee el código QR a continuación para ingresar a la consulta grupal ~