Flink Forward ist die offizielle technische Konferenz der Apache Flink-Community, die offiziell von Apache autorisiert wurde. Als eines der am meisten erwarteten jährlichen Gipfeltreffen der Entwickler der Apache Flink-Community wird die FFA 2023 weiterhin Best Practices der Branche und die neuesten Technologietrends von Flink sammeln. Das ist es Das am meisten erwartete Ereignis für die Flink-Entwicklung in China. Ein technologisches Fest, das Entwickler und Benutzer nicht verpassen dürfen.
In diesem Jahr wird Flink Forward Asia (im Folgenden als FFA bezeichnet) wieder offline gehen und dies tun
Fand am 8. und 9. Dezember im Hyatt Regency Beijing Wangjing statt
. In Fortführung der Praxis der FFA stehen alle Themen des Gipfels zur Sammlung offen und werden von einem professionellen Themenauswahlausschuss bewertet und überprüft, um sicherzustellen, dass der Inhalt das führende Niveau der Branche darstellt, qualitativ hochwertigere, trockene Informationen für Entwickler liefert und Praktiken bietet, die dies ermöglichen kann von verschiedenen Unternehmen erlernt werden. Erfahrung. Diese Konferenz,
Bytedance 7 Themen wurden ausgewählt, darunter
OLAP
Serverless,
Streaming-Batch zusätzlich Neben der groß angelegten Implementierung von integriertem
und automatisiertem Betrieb und Wartung bietet es auch Überwachung und Frühwarnung sowie
Echtzeit-Data-Warehouse Douyin, Toutiao und andere Unternehmen.
,
empfehlen Plattformen
zum Üben und Teilen.
FFA 2023 Programm:
https://flink-forward.org.cn/
Themenempfehlung
FlinkOLAP Die Implementierung serverloser Funktionen in ByteDance
Feng Xiangyu, Bytedance-Infrastrukturingenieur
Einführung in die Rede:
Mit der schrittweisen Implementierung der Jobplanung und Jobausführungsoptimierung von Flink OLAP bei hohen QPS ist auch die Geschäftsgröße von Flink OLAP innerhalb von Byte erheblich gewachsen, und zwar auch mehr Es sind vielfältige Herausforderungen im Bereich der Datenverarbeitung aufgetreten, von denen die wichtigste die Serverlessisierung der Datenverarbeitungskapazitäten ist. Durch die Entwicklung und Implementierung von Funktionen wie Ressourcenisolation, elastischer Erweiterung und Kontraktion, elegantem Ausstieg, Kaltstartoptimierung und Strombegrenzung mit mehreren Richtlinien haben wir die Transformation der serverlosen Funktionen von Flink OLAP abgeschlossen und die Geschäftsförderung intern erfolgreich abgeschlossen. In diesem Austausch werden wir die Herausforderungen bei der serverlosen Leistungsfähigkeit von Flink OLAP aus fünf Aspekten vorstellen: Implementierung der Ressourcenisolation, Verbesserung der Cloud-nativen Leistungsfähigkeit, elastische Erweiterung und Kontraktion, Geschäftsimplementierung und -planung.
Die groß angelegte Implementierung von Streaming und Batch-Integration in ByteDance
Su Dewei, Bytedance-Infrastrukturingenieur
Spracheinführung:
Flink ist der De-facto-Standard für Stream-Computing, wird jedoch in Batch-Computing-Szenarien nicht häufig verwendet. Mit der Verbesserung der Streaming-Batch-Integrationsfunktion der Flink-Engine haben wir innerhalb von ByteDance 2.2w+ Spark SQL-Jobs in Offline-Datensynchronisierungsszenarien zu Flink Batch SQL migriert, um die Implementierung der Streaming-Batch-Integration zu fördern. Spark SQL-Jobs verfügen über umfangreiche Muster. Durch die Lösung einer großen Anzahl von Spark SQL-Kompatibilitätsproblemen sowie die Überprüfung der Datengenauigkeit und die automatisierte Migration können wir tägliche Routinejobs reibungslos zu Flink Batch migrieren und sie online stabil ausführen. Diese gemeinsame Nutzung wird hauptsächlich die groß angelegte Implementierung von Streaming und Batch-Integration in ByteDance aus den folgenden fünf Teilen vorstellen.
Byte vollständig inkrementelle integrierte Echtzeit-Datenkonstruktionslösung
Qin Binglun: Echtzeit-Dateningenieur bei Bytedance & Liu Xiang: Echtzeit-Dateningenieur bei Bytedance
Spracheinführung:
Das Geschäft von Byte umfasst viele vollständig inkrementelle integrierte Datenszenarien. Typische Szenarien umfassen Benutzerporträts, Risikokontrolle, Immobilien usw. Der Betrieb erfordert sowohl langfristige als auch langfristige -Term-Bereich. Es besteht ein hoher Bedarf an Datenaktualität, daher ist die vollständige inkrementelle Integration von Echtzeitdaten von großem Wert. Dieser Austausch stellt hauptsächlich die Herausforderungen und Lösungen vor, mit denen der Konstruktionsprozess des vollständig inkrementellen integrierten Flow Computing konfrontiert ist.
Flink Groß angelegte Implementierung von automatisiertem Betrieb und Wartung
Chen Zhanghao, Bytedance-Infrastrukturingenieur
Einleitung zur Rede:
In den letzten Jahren ist der Umfang der internen Flink-Operationen von ByteDance schrittweise auf Zehntausende gestiegen, und die begrenzten Arbeitskräfte des Unternehmens waren dazu tendenziell nicht in der Lage Um mit Änderungen im Datenverkehr und dem Bedarf an manueller Arbeit zurechtzukommen, kann die Optimierung von Ressourcenkonfigurationen und Probleme mit einzelnen Maschinen leicht zu einer manuellen Migration langsamer Knoten führen, was zu Betriebsdruck führt. Angesichts von Betriebs- und Wartungsproblemen wurde eine Reihe automatisierter Betriebs- und Wartungssysteme von Flink entwickelt und in großem Umfang intern implementiert: Aufgaben mit mehr als 1,5 W werden gehostet, und die Kapazität wird bei Verkehrsänderungen automatisch erweitert und reduziert, um Verbrauchsrückstände zu vermeiden und die Ressourcennutzung verbessern. Die automatische Migration von mehr als 1.000 langsamen Knoten pro Tag beseitigt Verbrauchsrückstände und reduziert effektiv den Flink-Betriebs- und Wartungsdruck des Unternehmens. In diesem Austausch werden wir die Implementierungspraxis des automatisierten Betriebs und der Wartung von Flink unter den folgenden fünf Aspekten vorstellen.
BytedanceEchtzeit-Data-WarehouseQualitäts- und Kostenmanagementplattform-Praxis
Zhu Fusheng, ByteDance-Dateningenieur
Vortrag:
Mit der Verbesserung der Geschäftsanforderungen an die Aktualität von Daten und der zunehmenden Anzahl von Echtzeitaufgaben hat ByteDance Zehntausende von Flink-Echtzeitaufgaben ausgeführt. Fällig zur Echtzeitaufgabe Verschiedene subjektive und objektive Faktoren wie zahlreiche abhängige Komponenten, zahlreiche Entwickler, ungleichmäßige Entwicklungsgewohnheiten und -erfahrungen führen zu häufigen Problemen wie Aufgabenstabilität und Ressourcenverschwendung. Daher ist eine Aufgabensteuerung unerlässlich, aber im gesamten Governance-Prozess gibt es immer noch die folgenden Widersprüche: den Widerspruch zwischen Geschäft und Governance, den Widerspruch zwischen Humanressourcen und Governance und den Widerspruch zwischen Problemen und Bewertbarkeit. In diesem Artikel wird vorgestellt, wie Echtzeit-Gesundheitspunkte die Echtzeit-Governance anhand von vier Aspekten einfach, effizient und nachhaltig machen können: Governance-Hintergrund, Gesundheits-Subsystem, Governance-Vorteile und Gesundheits-Subplanung.
Byte-Empfehlung gilt für die nächste GenerationFeature-EngineeringArchitektur-Evolutionspfad
Liu Shouwei, Empfehlungsarchitekturingenieur von ByteDance
Liu Fangqi, ByteDance-Empfehlungsarchitekturingenieur
Spracheinführung:
Bei der Entwicklung von ByteDance in den letzten Jahren hat das Empfehlungssystem ein charakteristisches Produktionssystem aufgebaut, das Billionen von Datendurchsätzen basierend auf Big-Data-Komponenten wie unterstützt Flink, Spark und Hudi. Mit der rasanten Entwicklung von Live-Streaming, E-Commerce, Lebensdiensten und anderen Unternehmen sowie der Ausweitung des Umfangs der Algorithmeningenieure wurden die Offline-Komponenten im Empfehlungssystem vor weitere Herausforderungen gestellt Benutzerfreundlichkeit, Kosten und Architektur. In diesem Zusammenhang haben wir auch vorgeschlagen, eine neue Generation von Feature-Produktionen und Links in den Lake einzuführen, einschließlich der Einführung des Empfehlungssystems Planner, des benutzerorientierten Python SDK und des Flink-Streamings und Batch-integrierte Probeneingabe in den Lake usw., die erhebliche Vorteile in Bezug auf Entwicklungseffizienz, Kosten und Leistung haben: Unter anderem kann der Entwicklungs- und Startzyklus der Original-Feature-Produktion von N Tagen auf 1 Woche auf Stundenebene reduziert werden. und die Rechenleistung der empfohlenen Proben in den See wurde ebenfalls auf das Dreifache des Originals verbessert.
FlinkImplementierungspraxis in Douyin-Echtzeitüberwachungs- und Frühwarnszenarien
Zhang Hongbo, ByteDance-Dateningenieur
Einführung in die Rede:
Mit der Entwicklung und dem Aufbau von Echtzeit-Data-Warehouses und der starken Nachfrage von Unternehmen nach Echtzeitdaten wird die Unterstützung von Echtzeit-Data-Warehouses immer höher -Qualitätsdienstleistungen, und gleichzeitig begegnen sie auch einer neuen Herausforderung. Von der anfänglichen schnellen Unterstützung des Geschäfts bis hin zur stärkeren Beachtung von Aktualität und Genauigkeit wurden unsere Ziele kontinuierlich verbessert, unsere Architektur wurde kontinuierlich verbessert und wir haben den Weg zur Verbesserung der Aktualität und Genauigkeit der Daten weiter erforscht. Nach einer Reihe iterativer Weiterentwicklungen von Lösungen -> Tools -> Plattform wurde schließlich ein Echtzeitüberwachungs- und Warnsystem auf Basis von Flink SQL eingerichtet, um Datenprobleme rechtzeitig zu erkennen und dem Unternehmen dabei zu helfen, Überwachungsanforderungen zu erfüllen. In diesem Austausch wird die Implementierung der auf Flink basierenden Echtzeitüberwachungs- und Frühwarnfunktionen von Douyin aus zwei Perspektiven vorgestellt: der Datenebene und der Geschäftsebene.
Reservierung für Live-Übertragungen und Konferenzregistrierung
PC-Terminal
Sie können zur offiziellen Website der FFA 2023-Konferenz gehen: https://flink-forward.org.cn/.
Mobiles Endgerät
Sie können dem Videokonto „Apache Flink“ folgen, um eine Live-Übertragung zu planen.
{{o.name}}
{{m.name}}