[Nota del editor de CSDN] El código abierto se ha vuelto muy popular en los últimos años y el emprendimiento de código abierto se ha vuelto popular. Como dirección empresarial que ha sido especialmente popular en los últimos dos años, ¿cómo pueden los empresarios de código abierto surcar las olas del Mar Rojo y ocupar un lugar en la industria? Apache Kylin, el primer proyecto de código abierto de alto nivel liderado por el pueblo chino para contribuir a ASF, ha realizado una exploración efectiva. El autor de este artículo, cofundador y director de tecnología de Kyligence, cocreador de Apache Kylin y PMC Li Yang, compartió en -Profundidad sobre el proyecto fundado en 2016, el pensamiento y la práctica de Kyligence en el camino de explorar el "valor no funcional" en el emprendimiento de código abierto.
Autor | Li Yang Editor | He Miao
Producido | Departamento editorial "Nuevo Programador"
Si usa una palabra para describir el mercado actual de código abierto, debe ser "locura". Como miembro de la industria, estoy muy feliz de presenciar el entusiasmo por el código abierto. Nuevas tecnologías como Internet, la computación en la nube, big data, Internet de las cosas y la inteligencia artificial continúan desarrollándose y se integran gradualmente con el código abierto, brindando soporte para una variedad de escenarios de aplicaciones. El código abierto, como motor de innovación en la industria del software, continúa creciendo y desarrollándose hasta convertirse en un poderoso modelo de innovación tecnológica. Hoy en día, las industrias financiera, minorista, manufacturera, de telecomunicaciones y otras industrias han adoptado el código abierto, y el código abierto se ha convertido en un canal importante para la innovación tecnológica. Este artículo comenzará con el emprendimiento y la práctica del proyecto de código abierto Apache Kylin y su versión comercial de código abierto Kyligence, compartirá experiencias y espero ser de ayuda.
El desarrollo del código abierto ha pasado de un océano azul a un océano rojo
Apache Kylin comenzó temprano. Desde que se graduó de la Apache Software Foundation (ASF) en 2015, se ha convertido en el primer proyecto de código abierto de alto nivel liderado por chinos que contribuye a la ASF. Actualmente, más de 1.500 empresas en todo el mundo están utilizando Kylin. . Básicamente, su núcleo es una base de datos multidimensional y un motor OLAP especial. Esperamos que a través de tecnologías y productos inteligentes, las empresas puedan utilizar datos valiosos para lograr la transformación digital, logrando así la visión de cambiar los hábitos de uso de datos humanos.
Debido a que estamos en la primera línea del código abierto y la comercialización de código abierto, podemos sentir los cambios en el mercado de código abierto de manera más intuitiva. Con el crecimiento explosivo de los proyectos de código abierto, la escala de contribuyentes de código abierto ha aumentado rápidamente y el mercado de empresas comerciales de código abierto también es sin precedentes. Según las estadísticas de AI & DATA Landscape compiladas por Matt Turck, socio de FirstMark, la firma de capital de riesgo más grande de Nueva York, como se muestra en la Figura 1, podemos ver que los proyectos de código abierto en muchas vías verticales han aumentado dramáticamente, convirtiéndose de océanos azules a océanos rojos.
Figura 1 Parte del panorama de IA y DATOS
En el campo OLAP de código abierto en el que se centra Apache Kylin, los nuevos proyectos que han surgido en este campo han crecido exponencialmente en los últimos tres años, de 2019 a 2021. A menudo bromeo: recuerdo que después de que Kylin se graduó de la Apache Software Foundation en 2015, parecía que no había competidores en la industria y éramos los únicos que resolvíamos este problema. En tan sólo unos años, han surgido muchas buenas empresas de nueva creación en Estados Unidos y China.
Además, desde la perspectiva del entorno general de China, la buena noticia es que las políticas están animando activa y estratégicamente a las empresas a abrir el código fuente. El "14º Plan Quinquenal para el Desarrollo Económico y Social Nacional de la República Popular China y el esquema de objetivos a largo plazo para 2035" incorpora por primera vez el código abierto en el diseño de alto nivel y apoya la construcción de un subyacente digital tecnologías y cultiva continuamente un nuevo impulso para el desarrollo digital.
A juzgar por los resultados de la investigación del "Libro Azul del Desarrollo de Código Abierto de China 2021", las contribuciones de código abierto de los desarrolladores, empresas e instituciones de investigación científica chinas continúan aumentando en todo el mundo, ganando cada vez más respeto y reconocimiento, y la reputación de China. El código abierto mejora año tras año. La posición general de China en el ecosistema global de código abierto también aumentará simultáneamente y gradualmente ocupará una posición de liderazgo en algunas áreas ventajosas. Más importante aún, los proyectos de código abierto y los productos comerciales basados en el código abierto se implementan y utilizan gradualmente en industrias importantes, lo que no solo significa que el código abierto ha pasado del código abierto técnico a la apertura industrial, sino que también significa que la aceptación del código abierto por parte del mercado ha aumentado. mejorado mucho, lo cual es de gran importancia. También tengo que lamentar que las mejoras y cambios tecnológicos deban implementarse en última instancia en escenarios de aplicación, este es el "destino" del desarrollo tecnológico.
"Los datos son el petróleo del futuro" es sin duda un dicho familiar para todos. El uso de datos para impulsar el crecimiento empresarial será la principal fuerza impulsora para las operaciones empresariales refinadas en el futuro. Sin embargo, debido a la complejidad de las fuentes de datos y la dificultad de integración entre tecnologías y plataformas, el camino hacia la gestión y el análisis de datos empresariales es muy tortuoso. Actualmente, los usuarios del proyecto de código abierto Apache Kylin provienen principalmente de empresas financieras, minoristas, de Internet, manufactureras, de comunicaciones y otras empresas nacionales y extranjeras, y las empresas financieras o de Internet invierten al menos entre decenas y cientos de millones de yuanes al año en infraestructura de datos. .
Según las necesidades de la industria y los puntos débiles del crecimiento empresarial basado en datos, los datos se seguirán utilizando en grandes cantidades. Cuando la cantidad de datos aumenta drásticamente, ¿cómo deberían las empresas utilizar la tecnología para procesar datos masivos? ¿Cómo optimizar los costos de TI? ¿Cómo debería ajustarse la estructura organizativa de TI para facilitar el acceso y uso por parte de los empleados de la empresa? Detrás de estos problemas todavía hay muchas dificultades técnicas que deben superarse.
Explorando el "valor no funcional" del emprendimiento de código abierto
Hoy en día se destacan aún más las ventajas del código abierto en innovación tecnológica, mejora de eficiencia, reducción de costes, etc., convirtiéndose en la base técnica en diversos campos. Al mismo tiempo, la brecha en la demanda de tecnologías de la información provocada por la explosión de los escenarios digitales en mi país también se está ampliando aún más. Como motor de innovación tecnológica, el código abierto seguirá promoviendo el desarrollo tecnológico en diversos campos y satisfaciendo las necesidades de todo tipo de usuarios de "tecnología innovadora + iteración sensible". Aunque el debate sobre el código abierto está en pleno apogeo, el desarrollo de tecnologías emergentes o campos emergentes, ya sea a nivel técnico, de mercado o de producto, a menudo enfrenta el problema de la escasez de talento.
En cuanto a la resistencia al desarrollo de código abierto, se puede mirar desde otro ángulo. En primer lugar, el problema del talento puede no ser un problema de las personas mismas, sino un problema de costos. ¿Las empresas necesitadas utilizan su propio personal técnico para cubrir el costo del uso de software de código abierto, o deberían comprar software comercial de código abierto de nivel empresarial para obtener servicios estables y confiables? Esta es una elección importante; en segundo lugar, otro obstáculo importante para la penetración del código abierto en las empresas es la selección de tecnología. También mencionamos anteriormente que la situación actual del mercado es que hay muchos tipos de proyectos de código abierto y la competencia es feroz. No es exagerado decir que existen cerca de veinte alternativas tecnológicas de código abierto sólo en el campo del análisis de datos. Cada tecnología puede tener una versión de código abierto y una versión empresarial, por lo que a menudo las empresas necesitan mucho esfuerzo para seleccionar la tecnología y evaluar los resultados. Las dos opciones principales mencionadas anteriormente son los "enredos de empresas" con los que realmente hemos entrado en contacto.
El código abierto y la comercialización de código abierto son caminos comunes en el entorno del mercado. Desde la perspectiva de los emprendedores, no estamos ansiosos, solo necesitamos determinar los límites de los dos proyectos para encontrar la base de nuestra vida.
Basado en código abierto, ¿cuál es la base de su desarrollo tecnológico? Seguro, confiable y estable.
¿Te imaginas que el hardware también sea de código abierto? De hecho, el hardware también tiene su propio mercado de código abierto. ¿Es posible que un vehículo completo, desde el diseño del hardware hasta la arquitectura del software subyacente, sea todo de código abierto? Si existiera un automóvil así y si fuera posible la impresión 3D, ¿imprimiría un automóvil así para su propio uso? Supongo que la gente generalmente no hace eso. ¿Por qué? Porque no cumple con los rígidos requisitos de seguridad, confiabilidad y estabilidad. Volviendo a la cadena de suministro de código abierto, ¿cuánto pagarán los consumidores finales? Personalmente, no pagan por una función. En el campo del análisis de datos ya existen soluciones funcionales alternativas: los usuarios empresariales pagan en última instancia por la seguridad, estabilidad y confiabilidad del sistema, es decir, pagan por las partes no funcionales.
Las adquisiciones a nivel empresarial también deben considerar el "valor no funcional": además de la selección de tecnología, el apoyo al talento y las funciones, también se valoran los valores de "seguridad, estabilidad y confiabilidad". La complejidad en sí misma es enemiga de "la seguridad, la estabilidad y la confiabilidad". En este nuevo nivel, los fabricantes que puedan resolver problemas no funcionales tendrán un mayor potencial de ganancias.
En la era nativa de la nube, los requisitos de gestión y uso de datos están experimentando enormes cambios. Para las empresas, si la plataforma no puede "nuberse", será cada vez más difícil adaptarse a los cambios drásticos que pueden ocurrir en cualquier momento en el entorno externo. Cómo satisfacer las necesidades de gestión de activos de datos empresariales, análisis fijos/autoservicio, servicios de datos y otras necesidades se ha vuelto más urgente, por lo que el umbral para el uso de datos se ha reducido cada vez más, y la arquitectura nativa de la nube elástica y flexible se ha vuelto popular. Entonces, ¿cómo satisfacen las startups de código abierto este tipo de demanda de valor? Tomaremos la experiencia de servicio de una empresa en la nube como ejemplo para analizar sus escenarios y puntos débiles, con la esperanza de brindar valor de referencia a algunas empresas de SaaS.
La empresa es un gran proveedor de servicios SaaS de creación de sitios web con más de un millón de usuarios. Este es un escenario típico de análisis del tráfico de un sitio web: el modelo de negocio del escenario es relativamente estable, pero sus desafíos técnicos son relativamente grandes. Como se muestra en la Figura 2, la empresa comenzó a utilizar Apache Kylin para crear una herramienta llamada Analytics Platform ya en 2017. Sus capacidades incluyen análisis de flujo de clics, PV, UV de páginas web, dispositivos de acceso, fuentes, etc. , El comportamiento del sitio web incluye escenarios y modelos de análisis persistentes. Debido a la gran cantidad de clientes globales y la tolerancia de los usuarios del lado C a la velocidad de respuesta de las consultas, la mayoría de las consultas deben devolverse en uno o dos segundos, lo que también es un desafío común al que se enfrentan los proveedores de To-C SaaS al proporcionar servicios de datos.
Figura 2 Cuadro de análisis de demandas y puntos débiles empresariales de SaaS
Además, una vez que el usuario complete la creación del sitio web, el servicio backend de consulta de datos e informes Analytics Platform se convertirá en un punto de contacto importante para mejorar la retención de usuarios. Dado que los usuarios son principalmente personas no técnicas, necesitan herramientas de análisis que sean fáciles de usar y altamente integradas con los productos. Las herramientas de análisis de terceros suelen ser más complejas y requieren altos costos de aprendizaje, por lo que los usuarios dependen más de la plataforma de análisis que viene. con la plataforma alta. La operación y el mantenimiento de la prestación de dichos servicios de análisis también son muy difíciles. Para garantizar que el servicio no se interrumpa, se requiere un mantenimiento continuo las 24 horas del día, los 7 días de la semana. Para garantizar la satisfacción y retención del usuario, la plataforma debe garantizar una alta estabilidad de los servicios de datos. Las herramientas y servicios de código abierto de Kylin dependerán relativamente más de las capacidades técnicas de la propia empresa en términos de confiabilidad, lo que requerirá que las empresas optimicen continuamente el costo total (TCO). Esto requiere que las empresas consideren no solo el costo de los recursos en la nube, sino también el costo de invertir en personal técnico de big data, lo que significa que bajo la construcción tradicional de chimeneas, se necesitan muchos ingenieros de datos.
Después de la evaluación y pruebas por parte del equipo de servicio de Kyligence, la empresa decidió migrar a la plataforma Kyligence Cloud. Su ventaja de valor no funcional se muestra en la Figura 3.
Figura 3 Comparación de la arquitectura de la escena antes y después.
Libere la productividad de TI. Los modelos de negocio se pueden optimizar automáticamente mediante consultas SQL. En cualquier momento durante el uso del modelo, el diseño del modelo se puede ajustar manualmente de manera flexible, como agregar o restar tablas de relaciones o analizar dimensiones e indicadores.
Optimización de costes. El método de implementación tradicional es Hadoop+Kylin en la nube. La principal fuente de reducción general de costos operativos después de la implementación es la optimización del clúster de Hadoop. La capa tradicional de big data de Hadoop se reemplaza con una arquitectura nativa de la nube, lo que reduce muchos costos de hardware y un muchos costos de operación y mantenimiento.
Admite eficazmente una alta concurrencia. Las capacidades de precómputo del modelo multidimensional detrás de Kyligence Cloud pueden brindar un soporte estable. Cuando los cálculos de la consulta se completan con anticipación, el monto del cálculo durante el servicio en línea puede permanecer estable y casi no tiene nada que ver con el monto de datos original.
En resumen, empoderar a las empresas con modelos digitales de negocios y realizar servicios y gestión de datos automatizados para las empresas es un punto de valor no funcional al que las nuevas empresas de código abierto deben prestar especial atención, además de satisfacer sus necesidades de valor funcional.
Encontrar la posición correcta es clave
El desarrollo de la tecnología de código abierto debe superar numerosos obstáculos técnicos, mientras que el emprendimiento de código abierto requiere establecer límites de capacidad y encontrar un posicionamiento preciso.
Hay dos situaciones para encontrar el posicionamiento correcto: una es descubrir las propias ventajas y la otra es encontrar el objetivo/mercado del servicio. Ya hemos hablado antes del tema del talento, de hecho, los clientes potenciales se dividen en dos categorías: una son las industrias de base tecnológica, como Internet, automóviles, etc. Este tipo de industria tiene su propia columna vertebral técnica y es menos probable que compre tecnología del exterior. Su imagen corporativa es la de una empresa de base tecnológica, e intentará evitar compras de tecnología salvo que sea absolutamente necesario. La otra son las industrias tradicionales, que están posicionadas para resolver problemas industriales, como las finanzas, la energía, el comercio minorista, etc. Su valor es el valor comercial, por lo que la tecnología es un soporte y una infraestructura para él. Siempre que la tecnología pueda realmente resolver los problemas de seguridad, estabilidad y confiabilidad, está dispuesto a pagar por ello. Por lo tanto, iniciar un negocio necesita establecer la parte no funcional más valiosa, es decir, la empresa necesita encontrar el posicionamiento correcto y encontrar esta parte de la ventaja de valor agregado.
Desde su nacimiento, Kylin siempre ha tenido capacidades de bases de datos relacionales y a menudo se lo compara con otros motores OLAP relacionales, pero lo que realmente lo distingue es su modelo multidimensional y sus capacidades de bases de datos multidimensionales. En 2022, realizamos una revisión en profundidad desde la perspectiva de las capacidades y ventajas de Kylin, el posicionamiento y los objetivos del código abierto y las versiones comerciales de código abierto, y las tendencias y necesidades de la industria. Como se muestra en la Figura 4, teniendo en cuenta la naturaleza de Kylin y su amplia gama de usos comerciales futuros (no solo usos técnicos), el equipo posicionó claramente a Kylin 5 como un sistema unificado, flexible, de alto rendimiento, escalable, nativo de la nube y Otra solución a gran escala: Plataforma de análisis de datos, donde los usuarios pueden completar numerosos análisis de datos, conectar, soportar y reemplazar múltiples fuentes de datos, interfaces de consulta y motores de cálculo. Kylin también se convertirá en una base sólida y confiable para el análisis de datos masivos empresariales y la gestión de indicadores, lo que permitirá a la gente común comprender y permitirse big data y, en última instancia, lograr la democratización de los datos.
Figura 4 El área naranja es el foco de Apache Kylin (fuente de la imagen: Apache Kylin)
Además del posicionamiento de productos y tecnologías, el servicio al cliente también es muy importante en el proceso empresarial. La versión comercial de código abierto de Kyligence requiere "la estabilidad primero y la seguridad cero". Cada vez que aparece una nueva vulnerabilidad de seguridad, la empresa emitirá una alerta roja de primer nivel y todo el lado de producción e investigación movilizará inmediatamente todos los esfuerzos para resolver el problema e informará a los clientes si la vulnerabilidad de seguridad está relacionada con el entorno de producción actual del cliente. Si no hay un impacto directo, igualmente realizaremos múltiples revisiones y prepararemos planes para cortar los problemas de raíz. Si hay algún impacto, responderemos y lo resolveremos de inmediato.
En resumen, el emprendimiento de código abierto necesita pensar más en "¿Cuál es el valor central de la empresa? ¿Qué problema ayuda a resolver a los clientes?" El malentendido más común es que el valor central de uno es proporcionar a los clientes una tecnología que no es actualmente disponible. Esta comprensión puede ser correcta, pero debe ser de corta duración: con plena colaboración e intercambio de información en código abierto, la tecnología avanzará rápidamente y cualquier tecnología nueva podrá ponerse al día rápidamente. Tal vez puedas pensar profundamente en ti mismo.
El valor en todo el ecosistema de software de código abierto, el valor que puede atraer a los usuarios a pagar, generalmente no es un punto funcional, sino a menudo una parte no funcional. Si encuentra este valor no funcional, su negocio de código abierto puede volverse más fácil. .
————— Lectura recomendada —————
"Nuevo programador·005: Guía detallada del código abierto y el poder tecnológico detrás de las nuevas finanzas" planificó especialmente dos temas principales: "Guía detallada del código abierto" y "El poder tecnológico detrás de las nuevas finanzas". Están invitados los pioneros del mundo del código abierto actual, incluido el padre de Python, Guido van Rossum, el padre de MySQL, Michael "Monty" Widenius, el padre de Apache y director general de la Fundación OpenSSF OpenSSF, Brian Behlendorf, el CTO de MongoDB, Mark Porter. y el presidente de Ningsi, Gong Min., el guardián del kernel de Linux, Wu Fengguang, etc., así como representantes de fundaciones de código abierto nacionales y extranjeras y empresas reconocidas, que brindan servicios para desarrolladores, empresas y otros aspectos detrás del código abierto desde aspectos como Como el cumplimiento de la seguridad del código abierto, el código abierto interno dentro de las empresas, la innovación tecnológica de código abierto y la implementación de la industria del código abierto. Las organizaciones de código abierto y las comunidades de código abierto brindan una imagen panorámica más clara de la construcción ecológica del código abierto y el desarrollo mejorado del código abierto.
En el tema financiero, expertos técnicos de más de una docena de instituciones financieras tradicionales y empresas líderes en tecnología financiera como Industrial and Commercial Bank of China, Postal Savings Bank of China, China Guangfa Bank, People's Bank of China, Ping An Technology, WeBank, y Ant Group ofrecemos debates en profundidad y estudios de casos sobre diversas tecnologías disruptivas de próxima generación. Brinde respuestas detalladas sobre cómo los desarrolladores deberían integrarse mejor en la industria financiera, así como cómo cultivar talentos en tecnología financiera y lograr verdaderamente la innovación tecnológica y la transformación digital en la tecnología financiera.
Bienvenido a escanear y suscribirse a "Nuevo programador"
Se lanzó la "Encuesta para desarrolladores de código abierto de China 2022-2023". Bienvenido a escanear el código QR a continuación para participar en el cuestionario "Para desarrolladores de código abierto" que todos están usando. ¡También hay obsequios exquisitos como iPads esperándote!