Dieser Artikel basiert auf dem Vor-Ort-Sharing-Datensatz (mit Löschungen) von Wang Yang, dem Verantwortlichen für Douyin-Datenforschung und -entwicklung beim ArchSummit Global Architect Summit (Shenzhen Station). In den fünf Teilen von Byte Concrete, DataOps Productization und Implementierung, Best Practices und Zukunftsaussichten stammen die geteilten Inhalte aus der praktischen Erfahrung von ByteDance im Geschäftsleben.
Modi und Herausforderungen der Bytedance-Datenforschung und -entwicklung
Mittelklasse-Tools + Daten-BP-Modus
Bei der Landung von DataOps kombiniert Byte das von unserem Datensupport übernommene Organisationsmodell aus Middle-End-Tools + Daten-BP. Das Team der Middle-End-Tools ist für den Aufbau der Funktionsbasis verantwortlich und realisiert verschiedene grundlegende Funktionen der Datenentwicklung und -bereitstellung eine offene Plattform, bieten persönlichen technischen Support für das Daten-BP-Team und exportieren diese Funktionen auch über den internen und externen Integrationsmodus der Vulkan-Engine. Durch die sogenannte Integration von Intern und Extern erreichen verschiedene Datentools wie DataLeap eine einheitliche Nutzung interner und externer Nutzer.
Für das Daten-BP-Team wurden bei der Einführung von DataOps drei Dinge im Fokus: Das erste ist die Formulierung von Normen. Während des langfristigen Übungsprozesses innerhalb von Byte sind wir davon überzeugt, dass das Praxisteam die beste Quelle ist Normen Die zweite Sache besteht darin, die Entwicklung von Plug-Ins basierend auf der offenen Plattform von Middle-End-Tools zu realisieren. Data BP ist kein reines Data Warehouse-Team, zu dem auch einige Engineering-Teams gehören. Das in das Data Warehouse integrierte Engineering-Team kann dies tun Integrieren Sie das tägliche Data Warehouse. Schmerzpunkte werden erkannt und in Form von Plug-Ins gelandet. Verschiedene Daten-BP-Teams können je nach ihren eigenen Merkmalen unterschiedliche Plug-Ins entwickeln. Als letztes müssen die Vorteile bewertet werden. Nachdem DataOps gefördert wurde, wird es wird auch auf dem BP und nicht auf der Plattform bewertet. Das Middle-End-Tool-Team kann sich auf die Fähigkeit selbst konzentrieren, und das Entwicklungsdaten-BP-Team kann sich auf die gesamte Spezifikation und den Wert konzentrieren. Am Ende können externe Kunden gleichzeitig von unseren Plattformfunktionen und dem gesammelten BP-Modell profitieren. Dies ist das vom gesamten Byte-Team bei DataOps implementierte Kooperationsmodell.
Kernindikatoren der Daten BP: 0987
Um zu beurteilen, ob die Daten des BP-Teams gut sind oder nicht, verwenden wir zur Bewertung eine Reihe leicht verständlicher Indikatoren 0987
0 bedeutet keine Datenunfälle. Zu den Unfällen gehören hier Probleme wie Aktualität und Qualität. Da wir viele Online- und Vermögensverlustszenarien unterstützen, sind Unfälle die Lebensader in unserem Bewertungssystem;
9 bezieht sich auf die Nachfragezufriedenheitsrate. Wir haben den Datenbedarf mehrerer Parteien übernommen und hoffen, das Ziel zu erreichen, mehr als 90 % des Bedarfs pünktlich liefern zu können;
8 bezieht sich auf die Analyseabdeckungsrate. Dieser Indikator bedeutet, dass 80 % der auf dem Data Warehouse basierenden Abfragen des externen Teams die von uns erstellten und aggregierten Tabellen anstelle der Originaltabellen verwenden können.
7 bezieht sich auf den NPS-Indikator. Wir werden vierteljährlich Fragebögen an alle Benutzer und Datenbenutzer senden, um entsprechende Feedback-Informationen zu sammeln. 70 % bedeutet, dass die meisten Studenten positive Kommentare zu uns haben und die negativen Kommentare nahe bei 0 liegen.
von der Qualitätsherausforderung
Im aktuellen Supportmodus des Byte-Datenteams liegt die größte Herausforderung, der wir begegnen, aufgrund der Vielfalt der Supportmodi, die verschiedene Kernentscheidungs- und Online-Szenarien abdecken, in der Datenqualität:
Die Verbindung ist komplex: Die längste Aufgabe hat Tausende von Vollverbindungsknoten, und die maximale Downstream-Anzahl einer einzelnen Aufgabe hat die Tausenderstufe erreicht
Häufige Änderungen: Allein die Anzahl der Datenverbindungsänderungen des Live-Datenteams kann Tausende Male pro Woche betragen, was Hunderte von Risikoszenarien mit sich bringt
Unfälle sind anfällig für Unfälle: Qualitätsunfälle ereignen sich von Zeit zu Zeit, und 56 % der jährlichen Daten-F&E-Unfälle in 22 Jahren betrafen F&E-Spezifikationen
Herausforderungen durch Hardwarekosten
Im Zusammenhang mit Kostensenkung und Effizienzsteigerung sind die Hardwarekosten nach und nach zu einer zentralen Herausforderung für das Datenteam geworden. In der Vergangenheit haben wir die Kosten im Einklang mit den meisten Unternehmen hauptsächlich auf der Grundlage des Budgets kontrolliert. Zuerst haben wir einen jährlichen Rechen- und Speicheraufwand berechnet Ressourcenziel und dann basierend auf dem Budget, um Governance-Aktionen durchzuführen, ungültige Aufgaben zu bereinigen oder TTL zu reduzieren; aber jetzt müssen wir uns in Richtung einer verfeinerten Kontrolle der Anforderungen bewegen und weiter sehen, wie viel Hardware ich kosten muss Erfüllen Sie diese Anforderung, um die Kontrolle der Hardwarekosten auf das Bedarfsniveau zu verfeinern
Herausforderungen durch menschliche Effizienz
Neben den Hardwarekosten sind die Arbeitskosten ein weiterer großer Kostenfaktor für uns. Ich leite jetzt ein Datenforschungs- und -entwicklungsteam. Jedes Mal, wenn ich eine HC-Inventur durchführe, werde ich auf zwei Seelenfragen stoßen:
Wie kann man beweisen, dass der aktuelle Zustand des Teams effizient ist?
Wie kann mit weniger Mitarbeitern ein größerer Geschäftswert geschaffen werden?
Das stellt tatsächlich eine sehr reale Herausforderung dar. Wie beweisen wir den Wert eines Datenteams?
Das DataOps-Konzept wird in Bytes verkörpert
Da wir nun vor so vielen Herausforderungen stehen, müssen wir darüber nachdenken, wie wir diese Herausforderungen meistern und von der Branche lernen können. Wir haben festgestellt, dass DataOps eine Lösung ist, die uns effektiv bei der Lösung der oben genannten Probleme helfen kann
Definition von DataOps durch das ICT Institute
Daten-F&E und Betriebsintegration (DataOps): Es handelt sich um ein neues Paradigma der Datenentwicklung. Es integriert agile, schlanke und andere Konzepte in den Datenentwicklungsprozess. Durch die Neuorganisation von datenbezogenem Personal, Tools und Prozessen werden Barrieren bei der Zusammenarbeit abgebaut und baut eine integrierte Entwicklung und Governance auf. Die integrierte automatisierte Datenpipeline verbessert kontinuierlich die Liefereffizienz und Qualität von Datenprodukten und realisiert eine qualitativ hochwertige digitale Entwicklung.
unser Verständnis
DataOps ist eine Reihe von Methoden, die auf Menschen + Prozesse + Tools einwirken. Ziel ist die Verbesserung der Datenqualität und Entwicklungseffizienz. Vor allem durch agile Zusammenarbeit, Automatisierung/Intelligenz sowie klare Messung und Überwachung kann die Datenpipeline eine kontinuierliche Integration und Bereitstellung erreichen , und Lieferung ( CI/CD), im DataLeap-System zielt DataOps hauptsächlich darauf ab, den F&E-Prozess zu standardisieren, die „Integration bestehender Fähigkeiten“ des standardisierten F&E-Prozesses abzudecken, ein One-Stop-F&E-Erlebnis zu schaffen und auch den Schlüssel „ „Aufbau neuer Fähigkeiten + Integration“, andere grundlegende Iterationen der Datenentwicklung sind nicht Teil von DataOps
Wir glauben, dass der Kern von DataOps die folgenden Teile umfasst
Der erste ist der Link. Der sogenannte Link soll die verbindliche Beziehung der gesamten Datenkette aus Anforderungen, Entwicklung, Assets und Benutzern öffnen. In Bezug auf die Funktion ist es relativ einfach und löst das Problem der Beziehung zwischen Anforderungen und Codes. Die F&E-Seite des Unternehmens hat diese Fähigkeit bereits erkannt, und jeder vom F&E-Personal eingereichte Code kann wissen, um welche Anforderung es sich handelt. Da der Datenentwicklung in der Vergangenheit jedoch wenig Aufmerksamkeit geschenkt wurde, muss zunächst die Nachfrage mit dem gesamten Datenprozess verknüpft werden.
Das zweite sind Normen. In der Vergangenheit fehlte dem gesamten Prozess der Datenforschung und -entwicklung eine standardisierte Produktisierung. Dies wurde hauptsächlich durch die Dokumentationsanforderungen innerhalb des Teams getragen, einschließlich Anforderungsüberprüfung, Modellentwicklungstests und Online-Akzeptanz. Wir glauben, dass DataOps dies ist am meisten standardisiert. Der erste Schritt besteht darin, diese verstreuten Spezifikationen zu produzieren und in alle Datenentwicklungsprozesse in die tägliche Entwicklungskette einzubetten.
DataOps-Produktisierung und -Implementierung – DataLeap
Dieses Bild zeigt die Funktionen der von Byte Data entwickelten Dataleap-Suite, die Computer-Engines, Full-Link-Entwicklung, Global Governance, Assets und andere Tools umfasst. Eine solche Big-Data-Entwicklungssuite aus einer Hand kann Benutzern dabei helfen, die Datenintegration schnell abzuschließen Eine Reihe von Datenforschungs- und -entwicklungsarbeiten, einschließlich Entwicklung, Betrieb und Wartung, Governance, Vermögenswerte und Sicherheit, können Datenteams dabei helfen, Arbeitskosten und Datenwartungskosten effektiv zu senken, den Datenwert zu ermitteln und Datenunterstützung für Unternehmensentscheidungen bereitzustellen. DataLeap ist kein Produkt, sondern eine Suite (Suite). Die Analogie des Bildes ähnelt Office, wo mehrere Produkte zusammenarbeiten, um dasselbe große Problem oder dieselbe Lösung zu lösen, und die Produkte in einer Beziehung der gegenseitigen Zusammenarbeit und Unterstützung stehen.
DataOps Agile Specification F&E-Plattform
Dies ist das Gesamtrahmendiagramm der gesamten DataOps-Produktisierung von Byte und eine Reihe von DataOps-Agile-Spezifikationen für die F&E-Plattform, die vom Kern bereitgestellt werden. In der Vergangenheit gab es ein Modell, bei dem sich das Plattformteam selbst um alles kümmerte, alle Spezifikationen formulierte und sie an das Datenentwicklungsteam weitergab. Dieses Modell ist jedoch für uns nicht geeignet, da das Plattformteam weit davon entfernt ist das Geschäft.
Wir glauben, dass die Plattform in diesem Fall der Bereitstellung offener Funktionen Vorrang einräumen sollte. Zu den offenen Funktionen gehören hier offene Daten und Schnittstellen, offene Prozesse usw. Mit diesem Satz offener Funktionen bedeutet dies, dass alle Datenentwicklungsteams ihre eigenen Funktionen einrichten können Prozesse. , um ihre eigenen Regeln und Vorschriften zu erstellen.
Darüber hinaus haben wir festgestellt, dass diese agile und standardisierte DataOps-F&E-Plattform, nachdem das Entwicklungsteam bereit ist, allen Datenentwicklungsteams gemeinsam ist. Für Blöcke gelten besondere Anforderungen: Nach der Veröffentlichung der Daten müssen die Daten überwacht und in Echtzeit überwacht werden Datenänderungen. Basierend auf der Datenunterstützung der offenen Plattform werden den Moderatoren in der Live-Übertragungsszene einige Echtzeitdaten zur Verfügung gestellt, um sie bei der zeitnahen Entscheidungsfindung zu unterstützen. Zu diesen Echtzeitdaten gehören Benutzerdaten, Benutzerporträts usw., und Moderatoren können ihre Sprechfähigkeiten basierend auf diesen Benutzerporträts anpassen. Basierend auf der offenen Plattform verfügt das Daten-BP-Team über die gesamte Release-Fähigkeit der Aufgabe, und dann haben wir festgestellt, dass dieser Satz an Fähigkeiten universell genutzt werden kann.
Nachfragemanagement
Lassen Sie mich kurz die Funktionen der von Byte gestarteten internen Version zeigen, einschließlich verschiedener Dimensionen des Nachfragemanagements. Die Kernidee des Nachfragemanagements besteht hier natürlich darin, die Nachfrage in den gesamten Prozess der Datenrecherche einfließen zu lassen und Entwicklung. Sie können sehen, dass wir die Zugriffsanforderungen der Anforderungen sowie den Entwicklungsprozess und die Lieferbindung erledigen und dann einige Dinge im Zusammenhang mit der Fortschrittsverfolgung und Wertbewertung der Anforderungen erledigen. Dies ist eine Standard-Anforderungspipeline Eine Reihe von Prozessen auf der Byte-Anforderungsmanagementplattform. Sie beginnt bei der Nachfrage und endet mit der vorläufigen Bewertung, der detaillierten Bewertung, der Planung, der F&E-Abnahme und dem Wertfeedback.
Dies ist die Anforderungsbindungsseite. Bei der Aufgabenentwicklung müssen einige aktuelle Anforderungen gebunden werden. Dies ist natürlich nur ein Diagramm, das einen Entwicklungslink für die Anforderungsbindung bereitstellt. Wir werden auch Pakete wie Asset-Links und Aufgabenlinks haben. Verschiedene Änderungslinks werden an die Anforderungen gebunden. Diese Funktion ist sehr einfach, aber die erforderliche vollständige Linkverkettung bringt große Vorteile für Bytes, wodurch das erste Problem gelöst wird, alle gesamten Prozesse messen zu können.
Pipeline-Management
Die zweite ist die Pipeline-Verwaltung. Die Pipeline-Verwaltung von Byte umfasst Testpipeline, Veröffentlichung, Offline, Echtzeit-Aufgabenverwaltung, Aufgabenprioritätsverwaltung und andere verwandte Funktionen. Dabei handelt es sich um eine Aufgabe, die derzeit online ausgeführt wird, und um den Status der Pipeline nach der Ausführung zu registrieren , testen, überprüfen und überprüfen Sie die Pressekonferenz und geben Sie dann regelmäßig Aufgaben frei, schauen Sie sich die Festplatte an und führen Sie andere damit verbundene Aktionen durch.
Lassen Sie mich hier auf die Release- und Testlinks eingehen. Viele Unternehmen verfügen tatsächlich über Testumgebungen für diese beiden Teile, aber für Szenarien und Daten mit besonders großen Datenmengen oder für komplexere Szenarios sind in der Testumgebung keine Daten vorhanden. Im Vergleich zur geschäftlichen Forschung und Entwicklung kann die Testumgebung eine Vielzahl von Problemen nicht abdecken. Beispielsweise müssen im Bankenszenario die Testumgebung und die Produktionsumgebung isoliert werden, im Internetszenario wie Byte haben wir uns jedoch nicht für eine Trennung entschieden Veröffentlichung und Tests basieren tatsächlich auf demselben Datensatz und derselben Umgebung. Wie kann man also Tests von der Produktion isolieren? Der Kernpunkt ist, dass wir verlangen, dass alle Aufgaben, die die Release-Pipeline nicht durchlaufen haben, nicht in die Produktionstabelle schreiben, keine Produktionstabelle lesen, aber auch keine Produktionstabelle schreiben können. Dies hat den Vorteil, dass unsere Tests und Produktion vollständig konsistent sind und wir gleichzeitig sicherstellen können, dass der Test direkt in die Produktion übertragen wird, sodass die Kosten für nachfolgende Tests und QS-Eingriffe äußerst niedrig sind, was von angenommen wird Byte. eine Methode.
Empfohlene Vorgehensweise
Förderung und Betrieb: Wie lässt sich DataOps großflächig im Unternehmen umsetzen?
Wie kann man diese Werkzeuge bewerben, nachdem man sie hergestellt hat? Dies ist auch das Problem, mit dem Byte zu Beginn dieses Jahres konfrontiert war, nämlich die Frage, wie man DataOps-Funktionen in großem Umfang im Unternehmen implementieren kann. Am Anfang war es sehr schwer und es gab viele Herausforderungen, aber ich habe auch einige Erfahrungen zusammengefasst.
Wels-Effekt
Der erste wird als Welseffekt bezeichnet. Der sogenannte Welseffekt liegt daran, dass der Daten-BP diese Angelegenheit leitet, sodass das führende Team sie zuerst vorantreiben kann. In der Live-Übertragungsszene haben wir beispielsweise zunächst versucht, viele Indikatoren zu erhalten und die Erfahrungen zusammenzufassen. Wir können diese Indikatoren und Erfahrungen nutzen, um mit anderen Teams zu kommunizieren und aus der Perspektive der Verbesserung der menschlichen Effizienz zu beginnen. In diesem Fall Einige Teams werden bereit sein, zu lernen und es auszuprobieren.
aus der Box
Das zweite ist sofort einsatzbereit. Wenn wir es anderen BP-Teams zur Verfügung stellen, müssen andere BP-Teams nichts weiter tun, sondern nur den Prozessschalter einschalten und schon ist es in Ordnung. Die Kosten für den Pfadwechsel sind sehr gering .
von oben nach unten
Der dritte Punkt ist von oben nach unten. Ähnliche Tools und Funktionen wie DataOps müssen von übergeordneten Geschäftsbereichen ergänzt oder genehmigt werden, bevor sie kontinuierlich nach unten verschoben werden können. Dinge wie Normen können nicht von unten nach oben durchgesetzt werden.
Indextraktion
Ein F&E-Leiter wird dem Thema F&E-Effizienz auf jeden Fall Aufmerksamkeit schenken. Hier werde ich Ihnen eine Reihe von Byte-basierten F&E-Effizienzindex-Traktionssystemen vorstellen. Das System verfügt über vier Dimensionen von Messindikatoren, darunter Effizienz, Qualität, Ressourceneinsatz und Einkommen und andere verwandte Indikatoren. . Diese Indikatoren basieren auf Unternehmensforschung und -entwicklung und bilden ein Datensystem für Forschungs- und Entwicklungsindikatoren. Wir werden auf den Lieferzyklus, die feste Kapazitätsrate, die Anzahl der Lieferungen, die Reparaturzeit für Mängel, Online-Unfälle sowie auf Unternehmensforschung und -entwicklung achten Verhältnis der Datenanforderungen. Abschließend noch einige Angelegenheiten im Zusammenhang mit Schlüsselprojekten. Mit Ausnahme des letzten, der einen manuellen Eingriff erfordert, kann der Rest jetzt online gezählt werden, was sehr praktisch ist.
Perspektive des Managers
Die sogenannte Managerperspektive dreht sich um den Wert und die Zukunft des Datenentwicklungsteams, und durch Offenheit verfügt das Datenteam über einen professionellen Wert, der exportiert werden kann. Für das Datenteam gibt es zwei Arten von Werten: den einen als Geschäftswert und den anderen als professionellen Wert. Der Geschäftswert lässt sich sehr einfach sagen. Es geht darum, wie viele Anforderungen ich an das Unternehmen gestellt habe, an welchen Schlüsselprojekten ich teilgenommen habe und schließlich, wie viel Effizienz für das Unternehmen verbessert wurde und wie viel Nutzen das Unternehmen dadurch gewonnen hat bestimmte Daten bedeuten. Der zweite ist der Wert der Professionalität. Diese Angelegenheit stellt für viele Datenteams ein sehr problematisches Problem dar. Was sind die unersetzlichen Aspekte des Datenteams in der Branche und im Unternehmen? Was sind die beruflichen Dinge? Als wir hier Datops-Übungen durchführten, stellten wir fest, dass es für das Datenteam sehr wichtig ist, durch Offenheit einen exportierbaren professionellen Wert zu erzielen, der es dem Datenteam ermöglicht, sich umfassend an dieser Angelegenheit zu beteiligen.
Entwicklerperspektive
Aus Sicht der Entwickler kommt es vor allem darauf an, ein Erfolgserlebnis bei der Arbeit zu bekommen, was der Schlüssel zur Bindung von Mitarbeitern ist:
Anerkennung und Umsetzung: Die Spezifikation selbst ist menschenfeindlich. Die Implementierung von DataOps innerhalb des Teams erfordert umfassende Kommunikation, eine Kombination aus Teamanpassung und persönlicher Entwicklung, eine Erklärung der Gründe und die Vermeidung einer groben Implementierung
Beteiligung und Beitrag: Bauen Sie eine Entwicklungsumgebung auf, an der jeder teilnehmen kann, damit die Datenentwicklung tief in den Prozessformulierungs- und Implementierungsprozess eingebunden werden kann und die Verbesserung des persönlichen Einflusses gefördert wird
Ertragsmetrik
Die Vorteile der Implementierung von DataOps umfassen hauptsächlich drei Teile: Standardisierung, Qualität und Effizienz. Konkret:
Spezifikationen: Spezifikationsformulierung und Wiederverwendung in verschiedene Richtungen, um eine 100%ige Umsetzung des Prozesses sicherzustellen
Qualität: Lösen Sie systematisch die Probleme des F&E-Prozesses in Risikoszenarien, und die Anzahl der durch den F&E-Prozess verursachten Datenqualitätsunfälle wird auf 0 zurückgehen
Effizienz: Vermeiden Sie Nacharbeiten durch eine zuverlässigere Lieferung und überlagern Sie gleichzeitig die Fähigkeit zur Effizienzsteigerung, wodurch die Entwicklungseffizienz von Forschung und Entwicklung bei der Erfüllung der Geschäftsanforderungen voraussichtlich um mehr als 10 % verbessert wird
Zukunftsausblick
Geschäftswert
Abschließend möchte ich über die Zukunft der Datenforschung und -entwicklung sprechen. Zunächst möchte ich über den Geschäftswert sprechen:
Wertmetriken für Datenanforderungen
Planungsstrategie basierend auf Nachfragewertmaximierung
Die Wertmessung von Datenanforderungen ist komplizierter als die von Funktionsanforderungen. Daher hoffen wir, in der nächsten Phase den spezifischen Wert von Datenanforderungen messen und dann eine Planungsstrategie implementieren zu können, die auf der Maximierung des Nachfragewerts basiert um unsere Ziele hinsichtlich menschlicher Effizienz und Kosten zu erreichen. Kontrollziele.
Qualität und Effizienz
Bezüglich Qualität und Effizienz konzentrieren wir uns künftig auf die folgenden drei Punkte:
Große modellbasierte Demand-Docking-Funktion
Fähigkeit, die Entwicklung anhand großer Modelle zu unterstützen
Kostengünstige Funktionen zum Testen und Verifizieren von Daten
In letzter Zeit erfreuen sich große Modelle großer Beliebtheit. Wir glauben, dass es für große Modelle sehr praktisch und herausfordernd ist, an der Datenforschung und -entwicklung teilzunehmen. Ob aus der Perspektive des Demand Dockings oder der Hilfsentwicklung, große Modelle können uns mehr Automatisierungslösungen bieten mit der Notwendigkeit, sich auf Erfahrungen in der Vergangenheit zu verlassen. Das Problem kann nur durch Niederschlag gelöst werden. Gleichzeitig haben wir festgestellt, dass die Kosten für Datentests auf der Datenskala von Bytes sehr hoch sind, und wir hoffen auch, sie niedrig zu erforschen - Kostenverifizierungslösungen für Datentests in der Zukunft.
offen für die Außenwelt
Die Errungenschaften des DataOps-Konzepts in Byte werden auch über die Vulkan-Engine DataLeap exportiert. Volcano Engine DataLeap ist eine One-Stop-Rechenzentrumssuite, die Benutzern dabei helfen kann, den Aufbau eines vollständigen Satzes von Rechenzentren wie Datenintegration, Entwicklung, Betrieb und Wartung, Governance, Assets und Sicherheit schnell abzuschließen und Datenteams dabei zu helfen, den Arbeitsaufwand effektiv zu reduzieren Kosten und Datenpflegekosten, Erschließung des Werts von Daten und Bereitstellung von Datenunterstützung für Unternehmensentscheidungen.