El costo se reduce en un 90% y la plataforma social extranjera Typing se basa en la exploración y práctica de big data de Databend.

El equipo de la comunidad de código abierto de China realizó su primera transmisión en vivo, contando la historia detrás de la comunidad de código abierto de China en nombre de compartir".

Typing (Input Technology) se fundó en 2022. Es una empresa extranjera que proporciona principalmente plataformas sociales para el sudeste asiático, América Latina, Medio Oriente y otras regiones de ultramar. Su plataforma social es similar a Soul, Momo, etc., y proporciona funciones sociales como transmisión de video en vivo, sala de chat de voz, videos cortos, intercambio de vidas, chat de texto, etc., con más de un millón de usuarios registrados y cientos de miles de usuarios. Usuarios activos diarios. Las personas pueden conocer gente interesante, hacer nuevos amigos y crear sus propias comunidades sociales dentro de la plataforma.

Escribir características del escenario empresarial

Hoy en día, las plataformas sociales se han convertido en una parte esencial de la vida. Las personas hacen amigos, comparten e intercambian información en plataformas sociales, y esta información contiene datos valiosos sobre el comportamiento y las preferencias de los usuarios. La tecnología de big data permite extraer y analizar eficazmente estas cantidades masivas de datos, proporcionando así soporte técnico y apoyo a la toma de decisiones para el desarrollo de plataformas sociales y la experiencia del usuario.

Como empresa social, la importancia de los datos para Typing es evidente. Se puede extraer mucho valor empresarial a través de los datos:

1. Cree retratos de usuarios para plataformas sociales. El retrato de usuario es un modelo de usuario basado en los datos de comportamiento y la información personal del usuario. Escribir puede crear retratos precisos de los usuarios dentro de la plataforma mediante el análisis de datos como la atención de los usuarios, las relaciones con amigos, los intereses y los pasatiempos. A través de retratos de usuarios, la plataforma puede comprender mejor las necesidades y tendencias de comportamiento de los usuarios, brindando así a los usuarios de Typing servicios y recomendaciones más personalizados y precisos, y mejorando la experiencia y satisfacción del usuario de la plataforma.

2. Recomendación de contenidos y push personalizado en plataformas sociales. Escribir Toda la plataforma social tiene una variedad de contenido, que incluye audio, video, texto, imágenes y otras formas. A menudo resulta difícil para los usuarios encontrar el contenido y las personas que les interesan. Con la ayuda de la tecnología de análisis de big data, Typing puede analizar los datos de comportamiento históricos de los usuarios para comprender sus intereses y preferencias, brindándoles así recomendaciones e impulsos de contenido personalizados. A través del impulso de contenido personalizado, la plataforma social Typing puede aumentar la actividad y la permanencia del usuario, al mismo tiempo que aumenta la dependencia y la lealtad del usuario a la plataforma.

3. Minería de relaciones sociales en plataformas sociales. Como plataforma social, las relaciones sociales entre personas son el núcleo de Typing. La comprensión y el análisis de las relaciones sociales pueden ayudar a Typing a descubrir mejor los intereses y necesidades de los usuarios. Con la ayuda de la tecnología de análisis de big data, Typing puede analizar las relaciones de amistad de los usuarios, los comportamientos interactivos y otros datos, descubrir grupos de interés y redes sociales entre los usuarios y así brindarles recomendaciones sociales más precisas y relevantes. Al mismo tiempo, la minería de relaciones sociales también puede proporcionar a la plataforma una orientación estratégica, como la predicción de la pérdida de usuarios y el mantenimiento de las relaciones con los usuarios, para mejorar la retención y la actividad de los usuarios.

Desafíos técnicos que enfrenta la mecanografía

Limitado por la escala de la startup, todo el equipo de I+D de Typing solo tiene unas 15 personas. No cuenta con un equipo de big data dedicado ni un equipo de recomendación de algoritmos de IA. Sin embargo, la empresa tiene una fuerte demanda de operaciones refinadas, que requieren un buen cuidado. usuarios y toda la plataforma. Conoce tus raíces y conoce tus raíces. Cómo obtener análisis e ideas valiosas basadas en datos se ha vuelto indispensable. Para lograr este objetivo, el equipo técnico de Typing ha explorado mucho y ha estado expuesto a las soluciones de big data de Alibaba Cloud y Huoshan Engine. Sin embargo, desde el punto de vista de Typing, estas soluciones son muy complicadas desde la documentación hasta el acceso. Los costos de tiempo y mano de obra son relativamente altos y es difícil para una empresa nueva lanzarse.

Typing también probó el Clickhouse de código abierto, pero requirió que los desarrolladores de datos dedicados realizaran un trabajo intermedio de limpieza de datos ETL. Debido a la falta de mano de obra en esta área, finalmente no se pudo implementar.

¿Por qué elegir Databend?

Durante un evento de código abierto en una conferencia, Wu Yunpeng, el líder del equipo técnico de Typing, entró en contacto con Databend. Después de una serie de intercambios y conocimientos profundos, se sintió profundamente atraído por las siguientes características de Databend:

Arquitectura de separación de almacenamiento y cálculo: Databend separa completamente el almacenamiento y el cálculo, y los usuarios pueden ampliar o reducir fácilmente según las necesidades de la aplicación. Al mismo tiempo, Databend es un diseño de almacenamiento completamente orientado a objetos, que supera las limitaciones de la capacidad del disco de la base de datos tradicional;
Consulta de alto rendimiento: la arquitectura avanzada y el motor de consulta vectorizado de Databend no solo permiten el análisis instantáneo de datos masivos, sino que también reducen la latencia a niveles inferiores a un segundo. Al mismo tiempo, se utilizan tecnologías de paralelismo a nivel de datos (ejecución de consultas vectorizadas) y paralelismo a nivel de instrucciones (SIMD) para proporcionar un análisis de datos con un rendimiento excelente. Según el estándar TPC-H, Databend es 1,3 veces más rápido que la base de datos nativa de la nube integrada de computación y almacenamiento de nueva generación extranjera en tres dimensiones: importación de datos, ejecución en frío y ejecución en caliente, en comparación con la base de datos integrada de computación y almacenamiento tradicional; es 2-3 veces más rápido aumento de velocidad;
Se conecta perfectamente con las principales herramientas y ecología de datos: Databend Cloud se conecta perfectamente con las principales tecnologías y herramientas de datos, proporcionando SDK de Java, Go, Python, Node.js, Rust y otros idiomas, y es compatible con Kafka, DBT, FlinkCDC, Airbyte, Data X. Devezium y otras herramientas, resuelve el problema de compatibilidad de la pila de tecnología original de Typing, satisface todas las necesidades en conversión de datos, inteligencia empresarial, análisis ad-hoc y aplicación de datos, y puede ayudar a los usuarios a explorar rápidamente el valor potencial de los datos;
Bajo costo: el clúster informático económico e inteligente de Databend Cloud, junto con un almacenamiento de objetos altamente comprimido y de rendimiento optimizado, puede reducir los costos hasta en un 90%. Las empresas emergentes como Typing ya no tienen que gastar grandes sumas de dinero en el procesamiento de datos;
Fácil de usar: Databend Cloud proporciona un servicio SaaS integral a través de la canalización de datos y la gestión de tareas, puede facilitar la importación de datos, permitiendo a los usuarios usarlos de inmediato sin operación ni mantenimiento. Al mismo tiempo, Databend no tiene índices que construir, ni ajuste manual, ni cálculo manual de particiones o datos fragmentados, todo se realiza cuando los datos se cargan en la tabla.

Plan de empleo

Las diversas características de Databend simplemente satisfacen las necesidades de Typing de una plataforma de big data, por lo que Typing eligió la base de datos Databend como la principal herramienta de análisis de big data. Después de una serie de planificación, preparación, evaluación de compatibilidad y otros trabajos, el negocio de informática de big data se migró con éxito a Databend Cloud. Actualmente, la fuente de datos de Typing proviene principalmente de la base de datos AWS Aurora y los desarrolladores sincronizan periódicamente los datos en forma T+1 todos los días. Primero, use el SDK databend-py para exportar docenas de tablas en la base de datos de Aurora a S3 y luego importe directamente los datos en S3 a Databend Cloud a través de Databend. Gracias a la filosofía de código abierto a la que se adhiere Databend y su contribución de código abierto a Superset, Databend puede acceder fácilmente a la herramienta de panel de datos de código abierto de Superset. Los datos calculados por Databend Cloud luego se transfieren a Superset para su visualización.

En este escenario, el objetivo principal de Databend es alojar paneles de datos operativos. La escritura comienza a sincronizarse a las 8 a. m. todos los días y el volumen de datos es de aproximadamente 2 a 3 TB. La importación y el cálculo de datos se pueden completar antes de ir a trabajar a las 10 a. m. El personal técnico de Typing puede crear algunos paneles de datos visuales para operaciones y productos en Superset después del trabajo.

Además, Databend tiene otro uso en Typing: utiliza datos históricos de comportamiento del usuario generados en la base de datos (como registros de consumo, sala de voz, entrega de regalos, etc.) para realizar cálculos completos del usuario en Databend Cloud para calcular etiquetas de grupos de usuarios. luego importe el servidor empresarial para respaldar el desarrollo de aplicaciones empresariales para diferenciar a los usuarios y brindar un impulso más personalizado.

Ingresos del proyecto

Ha pasado medio año desde que se completó la implementación en noviembre del año pasado. Databend Cloud ha resuelto muy bien varios desafíos del análisis de big data de Typing, ya sea la velocidad de consulta, la precisión de los resultados o el costo, y ha superado las expectativas de Typing.

Después de migrar a Databend Cloud, el costo de datos de Typing se ha reducido en un 90% debido a una velocidad de consulta más rápida. Actualmente, la parte del costo más alto es el consumo de sincronización de datos de AWS Aurora a Databend Cloud. . Reducir este costo reemplazando el mecanismo de sincronización;
El equipo de operaciones de Typing a menudo escribe SQL para establecer algunos indicadores y ver paneles de datos. Dado que Databend proporciona una interfaz SQL unificada, se ajusta a los hábitos de uso de bases de datos originales del producto y de I+D, ahorrando costes de adaptación. El equipo de operaciones informó que es muy fácil comenzar con el nuevo panel de datos, no importa lo que escriba, los resultados se pueden obtener rápidamente. Todo el proceso es muy fluido y estable;
Durante el proceso de servicio, Databend brinda oficialmente servicios exclusivos de ingeniería y los problemas de emergencia se pueden informar y solucionar en cuestión de días u horas. Para Typing, puede ahorrar mano de obra dedicada al desarrollo de datos y utilizar ingenieros de Databend como parte del equipo de datos, lo que era completamente inimaginable en algunos servicios de proveedores de nube en el pasado.

Exploración futura

Actualmente, Typing está iniciando una nueva ronda de exploración de Databend. La confianza en Databend también hace que Typing quiera expandirlo a una gama más amplia de usos. En el futuro, Typing planea sincronizar los datos enterrados de los servidores empresariales con Databend Cloud. Dado que los datos enterrados contienen más comportamientos de los usuarios, estos datos son más valiosos para las decisiones comerciales que los datos de la base de datos. Esta parte de los datos se utilizará para respaldar algunos negocios lógicos más urgentes. Los datos ocultos del servidor son más urgentes y se sincronizan aproximadamente cada 15 minutos, lo que requiere una sincronización casi en tiempo real. Después de considerar el costo y la puntualidad, Databend proporciona una solución de sincronización incremental, que puede alcanzar el nivel mínimo de horas.

A lo largo de todo el proceso de cooperación con Typing, Databend no solo ayudó a Typing a resolver muchos problemas técnicos existentes, sino que también se adhirió al concepto de cooperación abierta para explorar más escenarios con Typing para proporcionar soporte de datos confiable para el desarrollo de negocios de plataformas sociales.