Los huéspedes | Yang, periodista | Guo Rui
Exposición | RDCC (ID: CSDNnews)
"La tecnología AI teoría del ecosistema" sección Entrevista es una parte importante en la puesta en marcha de millones de personas aprenden CSDN iniciativa AI. Por la parte superior de un centro grande AI ecología, los empresarios, la industria entrevistas KOL reflejan el pensamiento de la industria para determinar las tendencias futuras, la tecnología práctica y experiencia de crecer. En 2020, RDCC llevará a cabo entrevistas de 1000 caracteres, forman una serie, que describe AI ecología de las figuras más influyentes y mapas AI panorama de la industria!
Novena serie de entrevistas para este artículo, y por Ali, un algoritmo de expertos de alto nivel, Alink fundador Yang -uno entrevistas, en profundidad lotes fluyen una máquina plataforma de aprendizaje Alink de "detrás de las escenas."
AI millones de personas aprenden que ha tomado! Participar comentarios del artículo, el área de comentarios seleccionado para el mensaje, obtener el valor de 299 yuanes, "2.020 millones de personas desarrolladores AI congreso" billete en línea en vivo.
Cada vez que un carrito de datos de juerga son la tecnología de plataforma "juego". El año pasado, dos-once, plataforma de comercio electrónico de Ali Lynx una vez establecido un registro de datos, y un potente rendimiento de procesamiento del sistema es permitir que la industria de la admiración infinita: los datos de un solo día de procesamiento volumen alcanzaron 970P B, hasta 25 datos por segundo pico cien millones de dólares, y de productos recomendaciones para ayudar a Lynx CTR aumento del 4% - detrás de esta serie de datos, no pueden prescindir de Ali apoyo NK.
A medida que la industria también es compatible con los algoritmos de proceso por lotes, la máquina de aprendizaje de una plataforma de streaming algoritmos, desarrollo de Flink Alink-basado, proporciona una rica biblioteca de componentes y algoritmos marco de la operación conveniente, y en la actualidad la búsqueda ha sido ampliamente utilizado en el interior de Ali, recomendado, en tiempo real, la publicidad en línea y otros negocios, así como el apoyo a Kafka, HDFS y HBase y una serie de plataforma de almacenamiento de datos de código abierto.
En este artículo, RDCC honor de entrevistar a una L en el k-invasivo principio el hombre Yang , desarrolló desde la perspectiva de primera línea, entendemos la ruta técnica con esta plataforma de aprendizaje automático de código abierto, típicas aplicaciones Historias contenido y la planificación del desarrollo.
Yang, el aprendizaje de máquina fundador Alink de la división algoritmo de computación de alto plataforma experto Grupo Alibaba, Ali nube responsable de la plataforma de la máquina algoritmo de aprendizaje de base PAI en algoritmos de aprendizaje automático.
Alink deriva fondo : Algoritmo demandas ingeniero de desarrollo
Con el auge de la llegada de la inteligencia artificial y la era de grandes datos, aprendizaje automático puede manejar más extensa y diversa escena. El modelo del edificio necesidades de procesamiento de datos por lotes, con el fin de lograr los requisitos en tiempo real necesarios para datos en tiempo real directamente pronóstico de convección, pero también tienen la capacidad de las solicitudes de modelos de aplicaciones y servicios de micro-empresas. Con el fin de lograr mejores resultados de negocio, los ingenieros de algoritmos necesitan probar modelos más complejos, la necesidad de hacer frente a grandes conjuntos de datos, utilizando un conjunto distribuido se ha convertido en la norma, con el fin de reaccionar rápidamente a los cambios del mercado, cada vez más la selección del negocio de aprendizaje en línea para tratar directamente con la transmisión de datos, en tiempo real las actualizaciones de modelo.
Yang explicó: "Nuestro equipo ha participado en la investigación y el algoritmo de la plataforma de desarrollo, se sienten los componentes algorítmicos de alto rendimiento y plataforma conveniente para los desarrolladores de ayuda." Para una amplia diversidad de escenarios de aplicación y aprendizaje automático emergente, él y el dirigió al equipo en 2017 comenzó a desarrollar una nueva generación de Flink basado en el aprendizaje de máquina de plataforma de algoritmo, por lo que el análisis de datos y de las aplicaciones a los desarrolladores fácilmente fin de preparar a los procesos de negocio end.
Lo Alink exactamente?
Alink Alibaba plataforma informática división del equipo de PAI desde el comienzo de 2017 basado en el motor de cálculo en tiempo real Flink desarrollado una nueva generación de la plataforma algoritmo de aprendizaje automático, que proporciona una rica algoritmos biblioteca de componentes y el marco de la operación conveniente, los desarrolladores pueden construir un vínculo que cubre el procesamiento de datos, ingeniería característica, el entrenamiento del modelo, el modelo predictivo de desarrollo del modelo algoritmo de todo el proceso. Proyecto se fijó en Alink, el nombre se toma de la correspondiente (Alibaba, Algoritmo, AI, Flink, Parpadeo) la parte pública.
Con Flink flujo de proceso por lotes en términos de las ventajas de la integración, Alink capaz de proporcionar una operación consistente para la tarea de flujo de proceso por lotes. Yang señaló que a principios de 2017, vieron un lote fluya Flink ventajas excepcionales de rendimiento y aspectos del motor subyacente de integración, por lo Flink rediseñó basa en algoritmos de aprendizaje automático desarrollado una biblioteca que Alink plataforma a través de equipo de investigación. La plataforma en 2018 en la línea en el interno del Grupo Ali, y luego continuar a mejorar y perfeccionar, el ejercicio Ali creció en el interior de los escenarios de negocio complejas.
"A medida que la industria de primera para apoyar los dos algoritmos de proceso por lotes, la plataforma de aprendizaje automático streaming de algoritmos, Alink proporciona una interfaz de Python, los desarrolladores no necesitan una formación técnica puede fácilmente Flink modelo de algoritmo de construcción."
Según Yang introdujo, Alink ha sido ampliamente utilizado en la búsqueda de Alibaba, recomendaciones, publicidad y otros negocios en línea en tiempo real. En los primeros días de cat-terminando cantidad doble 11, de un solo día de tratamiento de datos para llegar a 970PB, datos por segundo pico hasta 2,5 mil millones. Alink resistió con éxito la prueba de datos a gran escala de ultra en la formación a tiempo real, y ayuda a mejorar (tasa de conversión clic de bienes) CTR 4%.
Características alink
1, una rica biblioteca de algoritmos
Alink tiene amplios lotes de algoritmos y algoritmos de streaming para ayudar a analizar los datos y desarrolladores de aplicaciones de procesamiento de datos, funciones de ingeniería, formación de modelo, la predicción, extremo a extremo a través del proceso. Como se muestra abajo, abierto Alink proporcionado algoritmo de módulo, cada módulo comprende un flujo y de lote algoritmos. Como la regresión lineal, regresión lineal incluye el entrenamiento por lotes, streaming pronóstico de regresión lineal y lineal lotes pronóstico de regresión.
2, la experiencia de usar
"Con el fin de proporcionar una mejor experiencia interactiva y visual, también hemos introducido PyAlink de código abierto, los usuarios pueden utilizar el modo portátil a través del paquete PyAlink Alink Python." Yang expresó, PyAlink no sólo apoya independiente que ejecuta, y también soporta el agrupamiento presentado y abrir el operador (operador Alink) y trama de datos de la interfaz, de modo que el algoritmo general fluya a la perfección en Alink Python. PyAlink también proporciona el uso de la función de Python para llamar a la UDF o UDTF. PyAlink en la figura cuaderno sigue, que muestra una formación modelo de predicción, e imprimir el resultado del proceso de predicción.
3, y Spark comparativo
En términos de algoritmo de aprendizaje en línea, con Alink comparación de rendimiento SparkML es casi igual a la figura de abajo da la comparación de rendimiento de algún algoritmo clásico:
Se puede ver en la figura, la mayor parte de chispa Alink algoritmo Supera, más débil que el rendimiento individual de la chispa algoritmo, es en general un nivel considerable.
Sin embargo, "en cuanto a la integridad de las características, Alink ventaja", el algoritmo Alink además de cubrir Spark también incluye algoritmos de streaming, el flujo de ejecución mixta de lotes, el aprendizaje en línea, y otra palabra china.
Ali y Alink con el camino abierto
En 2018, GitHub nuevos usuarios activos que en los seis años anteriores, en comparación con 2017 añadieron 40% y 30% del repositorio de código de la organización. A partir de una tendencia mundial, la tendencia es, sin duda, el desarrollo de software de código abierto. En China, Ali es la contribución más destacada a la empresa de código abierto. Hay un gran número de proyectos de código abierto creado por Ali, Ali, según el informe de GitHub código abierto estadísticas de la economía ecología, los proyectos de código abierto domésticos en el Top10, Ali tiene seis proyectos de código abierto en GitHub.
Antes de pasar a código abierto Alink, Yang introdujo por primera vez asociado Flink y FlinkML. "Flink es un código abierto distribuido marco de datos stream computing procesamiento y tratamiento de datos orientada por lotes, somos optimistas acerca de la excelente motor Flink rendimiento, la esperanza de resolver el problema basado en el escenario de aprendizaje máquina de flujo Flink." FlinkML Flink trata de algoritmos de aprendizaje automático biblioteca, en la versión antigua y la nueva versión. "Antes de hacer Alink, primero estudiamos cuidadosamente el entonces FlinkML (es decir, la versión antigua FlinkML) caso, sólo es compatible con más de 10 tipos de algoritmos a las estructuras de datos de apoyo no es lo suficientemente común, hacer en el algoritmo de optimización del rendimiento es relativamente pequeño, y su código tampoco se actualiza desde hace mucho tiempo. por lo tanto, nos dimos a la idea de mejorar el legado FlinkML, actualización, Flink basado decidió re-diseño y desarrollo de la biblioteca de algoritmos de aprendizaje de máquina, seguido por el desarrollo de la corriente Alink ".
Alink ha estado estrechamente asociado en el proceso de desarrollo y la comunidad Flink, Flink adelante en la reunión general anual, el equipo ha sido informe de situación sobre el proyecto, para discutir cuestiones técnicas, obtener retroalimentación y sugerencias. Con la mejora continua y la mejora de las funciones ALink, "Alink bienvenido en la comunidad de código abierto está creciendo, y hemos comenzado comunidad Flink más de cerca, la promoción de código fuente abierto en el Alink FlinkML."
Al mismo tiempo, más personas en la comunidad consciente del problema FlinkML legado, el legado FlinkML determinar el general descartada, la construcción de la nueva FlinkML. "Participamos activamente en el diseño de la nueva API FlinkML, para compartir experiencias Alink diseño API; concepto Parámetros etc. Alink se adoptó la comunidad; después del inicio de la nueva versión FlinkML código de algoritmo de contribución, ha presentado más de 40 PR, incluyendo algoritmos bastidor base, fundamento varias herramientas y algoritmos ".
Alink contiene una gran cantidad de máquina de algoritmos de aprendizaje, en el curso de la contribución FlinkML, las necesidades del diseño de discusión de la comunidad commiter y revisión de código, un proceso que ayuda a un mejor código, pero debido a los recursos limitados commiter comunidad, el código es contribuir plenamente a FlinkML el proceso va a durar mucho tiempo. "En este momento, tenemos que considerar si hay otras maneras, lo que permite a los usuarios utilizar arriba", "Alink sola fuente abierta es una buena solución", que implementa el algoritmo y siguen contribuyendo a FlinkML, puede llevarse a cabo de forma simultánea. El uso de comentarios de los usuarios también ayuda a mejorar el mejor algoritmo.
Esta idea obtuvo el apoyo de la comunidad, el acceso al apoyo interno Ali, en la conferencia de Flink forword Asia 2019, Alink declaró oficialmente abierta.
Actualmente, Alink de código abierto ha sido más de cuatro meses, la popularidad Alink en la comunidad de código abierto es cada vez más y más alto durante este tiempo, Alink en Github tiene más de 2000 de la estrella, 400 veces tenedor. exclamó Yang, "Hasta ahora, nuestra base de usuarios de código abierto cuenta con cerca de 1.000 personas, y tiene un número de desarrolladores de la comunidad presente algoritmo de código para Alink, hay docenas de Alink Alink usuario algoritmo propuesto comunidad o algoritmos a error a mejorar exigir equipo de desarrollo .Alink también es activa y la interacción de la comunidad, para promover conjuntamente la plataforma Alink desarrollo. ", por un lado, el equipo Alink apoya activamente a la comunidad mediante el uso de Alink, cientos de usuarios de la comunidad de ayuda a resolver los problemas que encuentran algoritmo Alink en uso. Por otro lado, el fallo algoritmo propuesto y los algoritmos para mejorar las necesidades de la comunidad de usuarios, Alink primera vez responde el equipo a estas mejoras de las necesidades y de errores horario, y de manera oportuna a la comunidad de código abierto después de que el desarrollo se ha completado, para hacer frente a las necesidades de la comunidad de usuarios.
"Aunque Alink de código abierto ha logrado resultados iniciales, todavía estamos contribución positiva al código FlinkML," Yang finalmente dijo que le gustaría contribuir más excelentes algoritmos de aprendizaje automático a Flink proyecto, la esperanza y la comunidad trabajan juntos para conjuntamente Flink comunidades de aprendizaje automático para promover el eco-desarrollo y la prosperidad.
【FIN】
Más emocionante recomendada
☞ inteligente mercado lleno de gente vestida, OPPO posible asesino sin entrante?
☞ Android marco de desarrollo de aplicaciones para el inventario de nivel superior, siempre hay un derecho para usted
☞ adquisición de una empresa de Microsoft es una persona? programa de Sony para crack, los piratas informáticos escribir novelas, observando su vida robusto programa!
☞ programador Por qué debería oponerse de manera inequívoca "mejores prácticas"?
☞ formación de cien millones de escala de conocimiento mapeo media hora, de código abierto Amazon AI marco de la representación del conocimiento mapa incrustado DGL-KE
☞ "debut" tasa de adopción de los 5 años del 78%, ¿cuál es la receta para el éxito Kubernetes?
☞ alerta! Aparición de nuevos trucos: el generador de código de dos dimensiones falsa ha sido exitosamente robar $ 460 millones de dólares!
bienestar de hoy: Área de mensajes Comentarios seleccionado, obtener el valor de 299 yuanes, "2020 millones de desarrolladores de AI Encuentro" en línea billete vivo . Ven yemas de los dedos, escribe lo que quiere decir que.
Haga clic para leer el original, maravillosa para continuar!
Su punto de cada una "mirada", en serio como favorito
