Willkommen beiKangaroo Cloud08 Produktfeature-Update-Bericht! Im sich ständig ändernden Marktumfeld sind wir uns der Bedürfnisse und Erwartungen unserer Kunden bewusst. Deshalb bringen wir rechtzeitig die neuesten Produktaktualisierungen und Optimierungen von Kangaroo Cloud auf den Markt, darunter Data Governance Center, Hive SQL-Leistungsoptimierung, neue Plug-ins, usw., um Unternehmen dabei zu helfen, in der digitalen Welt voranzukommen. .
Im Folgenden finden Sie den Inhalt des Kangaroo Cloud Product Function Update Report, Ausgabe 08. Für weitere Informationen lesen Sie bitte weiter.
Offline-Entwicklungsplattform
Neue Funktionsupdates
1. Support-Antrag und Genehmigung für das Andocken von Inceptor-Tabellenberechtigungen
Hintergrund: Der Kunde verwendet die Web-Layer-Berechtigungssteuerungslösung der Plattform und erwartet, dass die Inceptor-Tabelle auch die Web-Layer-Berechtigungssteuerung unterstützt.
Beschreibung der neuen Funktionen:
Wie in der Abbildung gezeigt, verfügt der Benutzer nach der Übergabe der Tabellenberechtigungen offline über die genehmigten Inceptor-Tabellen-Berechtigungen. Berechtigungen sind hauptsächlich in die folgenden drei Punkte unterteilt:
• DQL: hauptsächlich SELECT-Anweisungen, schreibgeschützte Berechtigungen
• DML: Hauptsächlich Aktualisierungsanweisungen einfügen, nur Schreibberechtigung
• DDL: Hauptsächlich Alter-Anweisungen, Änderung von Tabellendatensätzen
2. Batch-Operationen unterstützen Filteraufgaben basierend auf Baselines
Hintergrund: Kunden hoffen auf eine Erweiterung auf Basis der Basisfunktionen und hoffen, neben der Realisierung der Zeilenumbruch-Alarmfunktion auch die Batch-Einstellung von Ressourcenmieten zu unterstützen. Dies ermöglicht eine schnellere Wiederherstellung, wenn in einer der Baselines ein Fehler auftritt.
Neue Funktionsbeschreibung: HinzufügenGrundlinienfilterelemente im Batch-Vorgang.
3. Aufgabenpriorität
Hintergrund: Wenn in der Aufgabe keine Ausnahmen (Fehler oder Verzögerungen) vorliegen, können die Clusterressourcen im Allgemeinen den normalen Betrieb der Aufgabe unterstützen, und es kommt selten vor, dass die Aufgabe während des normalen Betriebs in einem großen Bereich blockiert wird. Wenn der Task-Abhängigkeitsbaum jedoch komplex ist und mehrere wichtige Upstream-Tasks abnormal sind und die Reparatur lange dauert, was dazu führt, dass Downstream-Tasks nach der Wiederherstellung zusammen ausgeführt werden, kann es zu einer Task-Überlastung kommen. Daher ist die Festlegung der Task-Priorität besonders wichtig wichtig.
Neue Funktionsbeschreibung: Unterstützt das Festlegen von 1–5 Prioritätsstufen für Aufgaben inBaseline Management. Je größer der Wert, desto höher die Priorität der Aufgabe. Je höher die Priorität der Ausführung. Aufgaben mit höherer Priorität erhalten zuerst Planungsressourcen, wenn die Planungsressourcen knapp sind.
Nach dem Festlegen der Priorität für die Baseline wird allen Aufgaben auf der Baseline und ihren effektiven Upstream-Aufgaben automatisch diese Priorität zugewiesen. Nach der Konfiguration der Priorität wird sie in der durch T+1 generierten periodischen Instanz wirksam.
4. Docking-Genehmigungszentrum für Aufgabenfreigabe
Hintergrund: Einige Kunden haben hohe Sicherheitsanforderungen bei der Freigabe von Aufgaben an Produktionsprojekte und hoffen, die Freigabe nach der Freigabe abschließen zu können.
Neue Funktionsbeschreibung: Nach dem Öffnen des Release-Genehmigungsprozesses, nachdem die Release-Aktion offline ausgeführt wurde, muss der Genehmiger zunächst die Genehmigung imGenehmigungscenter
5. Das Projekt unterstützt die Bindung von Datenbankkonten
Hintergrund: Einige Kunden sind auf ein solches Szenario gestoßen: Unterschiedliche Projekte werden von unterschiedlichen Teams bearbeitet, und auch die entsprechenden Datenberechtigungen sind unterschiedlich. Daher hoffen sie, Datenbankkonten in der Projektdimension zu binden.
Neue Funktionsbeschreibung: RDB-Datenbankkonto unterstützt Einstellungen im Projekt. In der Konsole können Sie auch Cluster- und Datenbankkonten auf persönlicher Ebene einrichten. Die Prioritätsbeziehung zwischen den dreien ist Persönlich>Projekt>Cluster.
Funktionsoptimierung
1. Hive SQL-Leistungsoptimierung
Hintergrund: Beim Ausführen von Hive SQL auf der Clientseite gibt es Rückmeldungen, dass die Ausführung der Hive SQL-Aufgabe langsam ist.
Beschreibung der Erfahrungsoptimierung: Nach der Leistungsoptimierung wurde die Geschwindigkeit einfacher Abfragen erheblich verbessert. Die spezifischen Anwendungsfälle und der Zeitvergleich lauten wie folgt:
• SELECT * FROM putong0629.dl_user WHERE id > 0; (die Tabelle hat 18 Felder und 100.000 Daten)
• SELECT * FROM putong0629.dl_user WHERE id ist nicht null LIMIT 1; (die Tabelle hat 18 Felder und 100.000 Daten)
2.SQL-EditorFormatoptimierung und Unterstützung für Rollback
• Strg+Z/Befehl+Z, um formatierten Inhalt rückgängig zu machen
• Nach der Formatierung wurde das Format unter Bezugnahme auf die Formatierungsmethoden von Konkurrenzprodukten und anderen Open-Source-Code-Editoren optimiert und angepasst.
3. Protokollieren Sie die Druckoptimierung in Echtzeit
Hintergrund: Das Aufgabenprotokoll wird alle 2,5 Sekunden abgefragt. Wenn das Protokoll nach Abschluss der Aufgabe nicht weiter abgefragt wird, gehen wichtige Informationen im Protokoll verloren.
Anweisungen zur Erfahrungsoptimierung:Echtzeitdruck protokollierenOptimierung: Nachdem die Aufgabe fehlgeschlagen ist, wird das Protokoll abgefragt und erneut gedruckt.
4. Die Menüleiste auf der rechten Seite der Offline-Entwicklungs-IDE-Schnittstelle unterstützt dynamisches Strecken nach links und rechts.
Hintergrund: Die vorherige Interaktionslogik ist wie in der Abbildung dargestellt. Die rechte Schublade ist fixiert. Beim Ausfüllen von Parametern mit vielen Feldinformationen wie Parametern ist dies sehr umständlich und erfordert ein Hin- und Herziehen, um die Informationen anzuzeigen.
Anleitung zur Erlebnisoptimierung: Sie können die Breite der rechten Schublade frei dehnen und vor dem Befüllen auf eine angenehme Breite einstellen.
5. Nullwertoptimierung des SQL-Abfrageergebnisses
Hintergrund: Es besteht ein Problem mit den aktuell offline angezeigten Abfrageergebnissen. Unabhängig davon, ob sie leer oder als Zeichenfolge sind, werden sie als leer angezeigt und Benutzer können sie nicht unterscheiden.
Beschreibung der Erlebnisoptimierung: Die Abfrageergebnisse unterscheiden drei Situationen: „Das Objekt ist eine Zeichenfolge und ist „null“, „Das Objekt ist eine Zeichenfolge und ist „““ und „Das Objekt ist leer“.
6. Wenn eine Aufgabe offline geht, werden die aktuellen nachgelagerten abhängigen Aufgaben aufgefordert.
Hintergrund: Wenn eine Aufgabe offline ist, wirkt sie sich auf alle Downstream-Aufgaben der aktuellen Aufgabe aus. Benutzer haben normalerweise keine gute Möglichkeit zu beurteilen, welche Downstream-Aufgaben konkret betroffen sind.
Beschreibung der Erlebnisoptimierung: Wenn eine Aufgabe offline ist, erscheint ein Popup-Fenster, das den aktuell betroffenen Aufgabenbereich anzeigt.
7. Optimierung der GitLab-Codesynchronisierungsfunktion
• Angepasst an GitLab Version 15.7.8
• Projekt-Pulling wird inasynchroner Vorgang geändert, um Pull-Timeout zu verhindern
• Der Aufgaben-Push wird von „Speichern und dann Push“ in „Speichern, nachdem der Push abgeschlossen ist“ geändert.
• Unterstützt das Pullen gemäß Aufgabenverzeichnis
• Wechseln Sie bei der Auswahl nach Dateityp zu „optional“.
• Batch-Operationen möchten Batch-Push und -Pull unterstützen
8. Optimierung der SQL-Abfrageergebnisse
• Die Offline-Metadatensynchronisierung unterstützt die Ansichtssynchronisierung: Die Funktion Metadatensynchronisierung der Offline-Datenquellenseite unterstützt die Metadatensynchronisierung und Ansichtssynchronisierung a>
• Unterstützt den lokalen Datenimport aus der Datenquelle
• Die Abfrage gibt die Anzahl der Zeilen zurück
• Abfrageergebnisse unterstützen das Sortieren
• Der Name der Abfrageergebnistabelle identifiziert das Feldtyp-Tag
9. Wenn der Planungszyklus monatlich ist, kann der letzte Tag ausgewählt werden.
Wenn der Planungszeitraum „monatlich“ ist, unterstützt die Uhrzeit die Auswahl „letzter Tag jedes Monats“.
10.Inceptor-Lesen unterstützt Bereichspartitionierung
Hintergrund: Bei der Datensynchronisierung unterstützt das Offline-Inceptor-Lesen keine Bereichspartitionierung (Range Partitioning), sondern nur Einzelwertpartitionierung ( Single-Value Partitionierung).
Beschreibung der Erlebnisoptimierung: Bei Auswahl der Inceptor-Datenquelle für die Offline-Datensynchronisierung wird Bereichspartitionierung unterstützt.
Echtzeit-Entwicklungsplattform
Neue Funktionsupdates
1.TBDS-Konto
Benutzer, die über TBDS-Konten verfügen, können mit ihren persönlichen Konten Aufgaben an den Cluster senden, und andere können Aufgaben mit dem Standardkonto senden.
2. Der globale/Aufgabenalarm verfügt über eine neue Auslösemethode für „Fehler beim Starten/Stoppen der Richtlinienausführung“.
Hintergrund: Die aktuelle Plattform kann nicht erkennen, ob dieStart-Stopp-Strategie erfolgreich ausgeführt wird, z. B. ob die laufende Aufgabe entsprechend normal gestoppt wird zur Start-Stopp-Strategie. , ob die gestoppte Aufgabe gemäß der Start-Stopp-Richtlinie neu gestartet wurde.
Beschreibung der neuen Funktion: Nach dem Konfigurieren von Regeln können Sie die spezifischen Fehlergründe im Alarminhalt sehen.
3. Unterstützen Sie benutzerdefinierte Rollen
Hintergrund: Derzeit sind die von Benutzern auf der Plattform verwendeten Rollen und entsprechenden Berechtigungspunkte integriert und festgelegt. Wenn die Berechtigungspunkte oder Rollentypen, die verschiedene Benutzer für Rollen haben sollten, nicht mit den von der Plattform bereitgestellten Ideen übereinstimmen, kann dies nicht der Fall sein entsprechend den eigenen Bedürfnissen modifiziert werden.
Neue Funktionsbeschreibung: Unterstützt das Hinzufügen benutzerdefinierter Rollen in der „Rollenverwaltung“ und die Bearbeitung entsprechenderRollenberechtigungspunkte und optimiert die Berechtigungen von Betriebsmitgliedern im Rahmen des Projekts.
4.Flink1.16-Aufgaben unterstützen die Ausführung auf k8s
Unterstützt die Konfiguration von k8s mit dem Sammlungstyp NFS in der Konsole-Clusterkonfiguration. Die Konfigurationsschritte finden Sie in der Prüfung „Gesamtbeschreibungs-Scheduling-Unterstützung“. .
5. Fügen Sie Hudi als Quelltabelle/Ergebnistabelle von FlinkSQL hinzu
Unterstützt die Einführung von HMS-Datenquellen, und die Hudi-Tabelle kann in der Quelltabelle/Ergebnistabelle des FlinkSQL-Assistentenmodus ausgewählt werden.
6. Fügen Sie HBase/ElasticSearch HuaweiCloud als Dimensionstabelle/Ergebnistabelle von FlinkSQL hinzu
Unterstützt die Auswahl der HBase/ES HuaweiCloud-Datenquelle angepasst an den Fusioninsight/MRS-Cluster in der Ergebnistabelle/Dimensionstabelle.
7. SQL-Abfrage-, Debugging- und Pre-Sales-Demo-Aufgaben für Echtzeitaufgaben werden im Sitzungsmodus übermittelt
Hintergrund: Derzeit übernimmt die Aufgabenübermittlung der Echtzeitplattform standardmäßig den Projob-Modus. Für Echtzeit-SQL-Abfrage-, Debugging- und Demo-Aufgabenszenarien ist jedoch eine schnellere Datenausgabe erforderlich und nicht erforderlich kontinuierlicher Langzeitbetrieb. Perjob Die Vorteile des Modells können nicht genutzt werden. Und der Nachteil des Pro-Job-Modus besteht darin, dass der Übermittlungsprozess langwierig ist und er für solche Szenarien nicht geeignet ist.
Neue Funktionsbeschreibung:SitzungskonfigurationFügen Sie die folgenden drei Konfigurationselemente hinzu, um Echtzeit-Aufgabenszenarien zu unterstützen:
8. Upsert Kafka-Plugin zur Quelltabelle hinzugefügt
Das Upsert Kafka-Plug-in wurde als Quelltabelle und Ergebnistabelle von FlinkSQL hinzugefügt.
9. Modul [Echtzeit-Lake-Warehouse] hinzugefügt
Neues Modul [Echtzeit-Lake-Warehouse] wurde hinzugefügt, um die Verwaltung und Berechnung von Lake-Tabellen zu unterstützen.
Funktionsoptimierung
1. Verbessern Sie die Genauigkeit der FlinkSQL-Syntaxanalyse in der IDE
Hintergrund: Die bisherige Syntaxanalyse wird bei vielen korrekten SQL-Schreibmethoden noch Fehler aufzeigen.
Anleitung zur Erlebnisoptimierung: Verbessern Sie die Genauigkeit der SQL-Syntaxanalyse.
2.Starrocks-Ergebnistabelle, der Assistentenmodus unterstützt den Aktualisierungsmodus
Hintergrund:Starrocks-Plug-in unterstützt Upsert zum Definieren von Primärschlüsseln, der Plattform-Assistentenmodus unterstützt dies jedoch nicht. Der Aktualisierungsmodus ist erforderlich im Assistentenmodus angepasst und angepasst werden.
Beschreibung der Erlebnisoptimierung: Der Assistentenmodus passt sich an die Starrocks-Datenquelle an und fügt einen benutzerdefinierten Primärschlüssel ein.
3. Oushu-Zieltabelle hinzugefügt
ErgebnistabellenunterstützungoushuDB-Nummerneinstellungsquelle.
4. Probleme mit Geschäftsdaten beim Protokolldruck
Hintergrund: Derzeit werden Geschäftsdaten in den laufenden Protokollen von Echtzeitaufgaben gedruckt, was ein Risiko für die Datensicherheit darstellt und blockiert werden muss.
Beschreibung der Erlebnisoptimierung: Überprüfen Sie, ob im laufenden Protokoll, im Task-Manager-Protokoll und im Verlaufsprotokoll Druckgeschäftsdaten vorhanden sind. Falls vorhanden, blenden Sie die Druckgeschäftsdaten aus.
5. Funktion [Aufgabe offline] und Spalte [Aufgabenstoppzeit] hinzugefügt
Optimieren Sie das interaktive Erlebnis einiger Aufgabenoperationen und -wartungen, fügen Sie die Funktion [Aufgabe offline] hinzu und fügen Sie [Task-Stoppzeit hinzu Aufgabenliste 】Liste.
6. Verschiedene Datenquellen im Assistentenmodus sind vereinheitlicht und offen für die Konfiguration benutzerdefinierter Parameter.
Hintergrund: Derzeit fehlen die Konfigurationselemente „Benutzerdefinierte Parameter hinzufügen“ und „Strategie aktualisieren“ einiger Datenquellen in der Ergebnistabelle.
Anleitung zur Erlebnisoptimierung:
• Ergebnistabelle – SQL Server-Dimensionstabelle – MySQL, Oracle, SQL Server, Postgresql, KingbaseES8, GreatDB, Doris0.14.x(http), Doris0.14.x(JDBC)Starrocks, Impala, Clinkhouse, Inceptor, ES6.x , ES7.x, TBDS_HBASE, argodb und Vastbase fügen offene benutzerdefinierte Parameterkonfigurationen zu den oben genannten Datenquellen hinzu.
• Ergebnistabelle – Beteiligte Datenquellen: SQL-Server, Postgresql, KingbaseES8, neue Aktualisierungsstrategien für die oben genannten Datenquellen.
7. [Aufgabenbetrieb und -wartung] Optimierung des Gesundheitsuntermodells
Zur funktionalen Optimierung des Aufgabenbetriebs und der Aufgabenwartung wurden neue Aufgabenableitungselementbeschreibungen und allgemeine Problembehebungsanleitungen hinzugefügt. Benutzer können Gesundheitspunkte verwenden Überprüfen Sie die spezifischen Abzugspositionen und verbessern Sie sie, um die Fehlerbehebung für Benutzer zu erleichtern.
8. [Echtzeitentwicklung] Optimierung der Aufgabenimport- und -exportfunktion
Hintergrund: Die Import- und Exportfunktion von Echtzeitaufgaben verwendet beim Ersetzen der Ressourcengruppeninformationen der Aufgabe die Seriennummer der Datenbank anstelle des Namens, was beim umgebungsübergreifenden Import zu einem Fehler führt. (Aufgrund dieser Informationen in verschiedenen Umgebungen sind die IDs in der Datenbank höchstwahrscheinlich unterschiedlich.)
Beschreibung der Erlebnisoptimierung: Beim Importieren und Exportieren von Aufgaben sollten zu ersetzende Informationen wie Ressourcengruppen, Datenquellen usw. durch Namen ersetzt werden. Auf diese Weise müssen Sie lediglich sicherstellen, dass die von den beiden Umgebungen verwalteten Namen konsistent sind, und können den Import und Export von umgebungsübergreifenden Richtlinien implementieren.
Daten-Asset-Plattform
Neue Funktionsupdates
1.Trino unterstützt die Metadatensynchronisierung
Offline generierte Projekte zur Erstellung von Indikatoren, Tags und anderen ProduktmodulenTrino-Meta-Datenquellenressourcen unterstützen die automatische Einführung und die Trino-Metadatenquelle Unterstützen Sie die Autorisierung hochwertiger Projekte.
2. Unterstützt den quellenübergreifenden Vergleich von TDSQL- und Inceptor-Tabellen über Trino
Hintergrund: Die Unterstützung von Hyperbase, Hyperbase Drive und Search wurde bisher beim Vergleich von Inceptor-Tabellen nicht berücksichtigt.
Beschreibung der neuen Funktion: Mithilfe von Trino kann die Datenqualität einen quellenübergreifenden Vergleich von TDSQL- und Inceptor-Tabellen (Hyperbase, Hyperbase-Laufwerk, Suche) ermöglichen.
3. Partitionierte Tabellen unterstützen die Anzeige von Partitionsinformationen in der Tabellenstruktur
Wenn es sich bei der Datentabelle um einepartitionierte Tabelle handelt, fügen Sie unter Tabellendetails – Tabellenstruktur die Partitionsinformationen der Anzeigetabelle hinzu.
4. Unterstützen Sie Online- und Offline-Genehmigungsvorgänge von Datenstandards
Von normalen Benutzern des Datenstandardmoduls erstellte Datenstandards müssen vom Genehmigungszentrum überprüft werden, bevor sie online oder offline sein können. Erst nachdem die Datenstandards online sind, können Standardzuordnungs- und Standardbindungsvorgänge durchgeführt werden.
5. Die Metadatensynchronisierung unterstützt die Konfiguration automatischer Synchronisierungsfilterregeln
Hintergrund: Für die Logik der Überwachung von Offline-DDL-Anweisungen und der Synchronisierung von Tabellen mit Assets in Echtzeit werden der Kundenmetadaten-Synchronisierungsaufgabe Filterbedingungen hinzugefügt. Wenn Sie keine TMP-Tabellen in der Datenzuordnung sammeln möchten, können Sie sie herausfiltern Die Metadaten-Synchronisierungsaufgabe, aber Echtzeit-DDL. Es gibt keinen Platz zum Hinzufügen von Filterbedingungen in der Überwachungslogik. Wenn also Aufgaben offline ausgeführt werden, wird die darin enthaltene tmp-Tabelle weiterhin in Assets erfasst.
Neue Funktionsbeschreibung: Funktion [Automatische Synchronisierung] im Metadaten-Synchronisierungsmodul hinzugefügt, die zum Konfigurieren von Filterregeln für die automatische Synchronisierung verwendet wird.
6. Die Greenplum-Datenquelle unterstützt die Ansichtssynchronisierung
Die Greenplum-Datenquelle unterstützt die Ansichtssynchronisierung. Die GP-Ansicht und die GP-Datentabelle teilen sich ein Metamodell. Die technischen Attribute „Name der Quelltabelle“ (ansichtsspezifisch) und „Ansichtsbeschreibung“ (ansichtsspezifisch) werden dem Metamodell hinzugefügt. Nach Auswahl der GP-Klasse können Sie bei der Auswahl von Daten unter einer Datenquelle eine bestimmte Ansicht auswählen, um Vorgänge wie Metadatensynchronisierung und Datendesensibilisierung durchzuführen.
7. Assets unterstützen die automatische Einführung von Datenquellen vom Typ MySQL
Für die Metadatenquelle, die beim Offline-Erstellen eines Projekts generiert wird, unterstützt das Asset die automatische Einführung von Datenquellen vom Typ MySQL. Nach der automatischen Einführung müssen regelmäßige Aufgaben automatisch erstellt werden.
8. [Data Governance] Governance-Workbench, Governance-Konfigurationsfunktion
Hintergrund: Die Bedeutung der Datenverwaltung besteht darin, Benutzer dazu zu ermutigen, Daten gemäß normativen Standards zu entwickeln und Datenverwaltung in den fünf Dimensionen Berechnung, Speicherung, Qualität, Norm und Wert durchzuführen. Der Zweck besteht darin, Speicherkosten zu optimieren und zu sparen Rechenressourcen, fördern Standards und ermöglichen Benutzern das Erkennen von Problemen und Ergebnissen durch Datenverwaltung.
Neue Funktionsbeschreibung: Diese Iteration unterstützt die Datenverwaltung aus den Rechen- und Speicherdimensionen, unterstützt die automatische Synchronisierung von Projektinformationen, die vom Offline-Entwicklungsmodul erstellt wurden, und kann Governance-Aufgaben für Projekte konfigurieren Regelmäßige Governance und Zuweisung von Handlern zur Bewältigung der auftretenden Probleme, um eine geschlossene Problembewältigung zu erreichen.
Funktionsoptimierung
1. Der Inhalt der Alarm-E-Mail erhöht die geplante Zeit der Instanz.
Fügen Sie „geplante Zeit“ inAlarm-E-Mail hinzu und ändern Sie die ursprüngliche „Planungszeit“ in „Startzeit“, um Benutzern die direkte Eingabe zu erleichtern Pass-Benachrichtigungen wie E-Mails werden gesendet, um den spezifischen Tag zu beobachten, an dem die Überprüfung der Qualitätsaufgabe fehlgeschlagen ist.
2. Optimierung der Datenquellenanzeige
• Die verbundenen Datenquellen werden in absteigender Reihenfolge nach der Priorität Anzahl Datenquellen – Anzahl Bibliotheken – Tabellendaten – Speichergröße sortiert.
• Bei der Datenverzeichnisverteilung wird der Inhalt der Datenressourcen basierend auf den Unterproduktmodulen angezeigt, die mit dem aktuellen Mandanten verbunden sind.
3. Wenn die Datensicherheit aktiviert ist, wird der Desensibilisierungseintrag für den Anwendungseintrag für Web-Layer-Tabellenberechtigungen entfernt.
Wenn die Berechtigungskontrollrichtlinie im Datensicherheits-Untermodul aktiviert ist, hat die im Datensicherheitsmodul konfigurierte Berechtigungsrichtlinie Vorrang und der Anwendungseintrag für Tabellenberechtigungen im Asset-Modul wird ausgeblendet.
Wenndie Desensibilisierungsstrategie für hive/sparkthrift/trino im Datensicherheits-Submodul aktiviert ist, dann wird die Desensibilisierung im Desensibilisierungseintrag Anwendung, Datentabellen unter diesen Datenquellentypen können nicht ausgewählt werden.
4. Synchronisierung des Tabellenlebenszyklus-IDE-Skripts
Das Offline-Entwicklungsmodul unterstützt die Lebenszykluskonfiguration durchIDE-Skript. Wenn es Änderungen im Lebenszyklus gibt, kann es mit dem synchronisiert werden Assets und in den Metadaten Das Modul kann beim Anzeigen von Tabellendetails Lebenszyklusinformationen anzeigen.
5. Optimierung des Datendesensibilisierungsmanagements
DatendesensibilisierungsregelnNach Abschluss der Konfiguration unterstützt die Konfigurationsseite der Desensibilisierungsanwendung Bearbeitungsvorgänge.
6. Optimierung der normativen Regelüberprüfung
Normative Regellogik Optimierung, zum Beispiel durch Festlegen der Mindestlänge = 20, die Logik besteht darin, dass eine Zeichenfolgenlänge größer oder gleich 20 als regelkonform angesehen wird ( die Logik der Maximallängenfunktion ist dieselbe).
7. [Datenkarte] Optimierung der Datentabellenanzeige
In der Listendarstellung der Datentabelle wird der Anzeigeinhalt von „Datenquelle·Datenbank“ auf „Datenquelle | Datenbank“ angepasst und der Mauszeiger fordert „Datenquelle | Datenbank“ auf.
Wenn mehrere Datenquellen vorhanden sind, werden die vollständigen Informationen des ersten Datenquellennamens angezeigt, und die anderen werden durch „…“ dargestellt, z. B. „mysql_test1... | dbtest1“; bei Trino-Datenquellen der angezeigte Inhalt ist „Datenquelle | Katalog | Datenbank“ .
Auf der Seite mit den Tabellendetails gibt es in der Spalte „Technische Attribute“ unter dem Feld „Tabellenname“ ein neues Feld mit dem Namen „Datenquelle“, das die Datenquelleninformationen der Datentabelle anzeigt. Mehrere Datenquellen werden durch englische Semikolons getrennt. Auf der technischen Attributseite im Metadatenmodell wird ein neues technisches Attribut „Datenquelle“ hinzugefügt.
8. Optimierung der Interaktion mit der Bearbeitung von Tabellenstrukturfeldlisten
Hintergrund: Es ist mühsam, den bearbeitbaren Inhalt in der Feldliste einzeln zu bearbeiten. Nach der Optimierung der gesamten Tabelle können alle Positionen bearbeitet werden. Nach der Bearbeitung wird die gesamte Tabelle gespeichert.
Anleitung zur Erlebnisoptimierung:
• Optimierung der interaktiven Logik für das Hinzufügen von Etiketten
• Unterstützung der Stapelbearbeitung von Feldbeschreibungen und Feldbezeichnungen
Datendienstplattform
Neue Funktionsupdates
1. Zusammensetzung und zeitaufwändige Analyse jeder Phase des API-Aufrufs
Fügen Sie die Registerkarte „Aufrufanalyse“ zur Test-API-Seite hinzu und generieren Sie eine API-Testschnittstelle. Mithilfe des Wasserfalldiagramms können Sie die Gesamtzeit und den Ausführungsinhalt sowie die spezifischen Gründe für Funktionsfehler und andere Probleme anzeigen.
Service-OrchestrierungÄhnlich wie bei der Generierung von APIs wird eine Anrufanalyse hinzugefügt, um bestimmte zeitaufwändige Gründe und Fehlerursachen anzuzeigen.
Jeder Anrufdatensatz wird hinzugefügt, um die Eingabeparameter (Generierungs-API, Registrierungs-API, Service-Orchestrierung, Service-Analyse) und Anrufanalyse (Generierungs-API, Registrierungs-API, Service-Orchestrierung) zu speichern und die Anzeige der Anrufanalyselogik im Einklang mit dem generierten API-Aufruf zu unterstützen Eingabeparameter.
2. Die Service-Orchestrierung unterstützt JAVA
Die Dienstorchestrierung wird von Python-Knoten zu Funktionsknoten geändert. Funktionsknoten können auswählen, um welchen Funktionstyp es sich handelt, einschließlich Python2.7-, Python3.9- und JAVA-Funktionen. Die Parametereingabemethode ist dieselbe wie zuvor.
FunktionstypNeues Java8 wurde hinzugefügt. Wenn der Funktionstyp als JAVA8 ausgewählt wird, springt es zur JAR-Paket-Upload-Schnittstelle und die Python-Funktion ist dieselbe wie zuvor. Laden Sie nach dem Springen der Java-Funktion zunächst das JAR-Paket oder die ZIP-Datei mit einer Größe von weniger als 50 MB hoch und geben Sie dann den Klassennamen und die Klassenmethode ein. Klicken Sie beim Eingeben von Parametern auf Parameteranalyse, um Feldtypen, Parameternamen usw. automatisch zu analysieren.
3. Die Service-Orchestrierung unterstützt Beispiele für die Rückgabe von Anzeigeergebnissen
In der erweiterten Konfiguration der Service-Orchestrierung wurde die Möglichkeit hinzugefügt, Rückgabeergebnisbeispiele anzuzeigen und Testergebnisse als JSON-Beispiele zu speichern.
4. Unterstützt die Anpassung des API-Pfadpräfixes
Dieser Teil wird hauptsächlich durch Konfigurationselementänderungen und Codelogikkompatibilität implementiert. Die Konfigurationselementänderungen sind wie folgt (die zwischen Diensten mit demselben Konfigurationselement konfigurierten Werte müssen genau gleich sein):
api-web变更：
(废弃) gateway.url
(新增) gateway.url.host = http://gateway-default-api530-api.base53.devops.dtstack.cn
(新增) gateway.url.custom.prefix = /custom/data
(新增) gateway.url.custom.open = true
gateway变更：
(新增) gateway.url.custom.open = true
(新增) gateway.url.custom.prefix = /custom/data
nginx变更/conf/conf.d/apigw.conf:
（localtion后面的配置需要基础运维进行提取变量，支持通过em进行配置项的变更，变更值与api配置文件中gateway.url.custom.prefix保持一致）
#location /api/gateway {
-> 修改成：
#location /custom/data {
proxy_max_temp_file_size 0k;
fastcgi_buffers 32 8k;
proxy_http_version 1.1;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $host;
proxy_pass http://real-rdos-api-gw;
if ($request_method = 'OPTIONS') {
return 204;
}
}
Beschreibung des Konfigurationselements:
• Gateway.url.custom.open: Gibt an, ob ein benutzerdefiniertes URL-Präfix verwendet werden soll. Der Standardwert ist „false“.
• Gateway.url.host: Anforderungs-URL, bestehend aus http(https)://hostname:port
• Gateway.url.custom.prefix: Benutzerdefiniertes Präfix, beginnend mit einem Schrägstrich, unterstützt mehrere Ebenen, standardmäßig ist /api/gateway
5.API unterstützt Batch-Übermittlung, -Veröffentlichung und -Entzug
Die API unterstützt die Stapelübermittlung, Stapelveröffentlichung, Stapelrücknahme und andere Vorgänge, um die Betriebseffizienz der API zu verbessern.
Funktionsoptimierung
1.API-EingabeparameterUnterstützen Sie mehrere Parameter und füllen Sie mindestens einige Methoden zur Anforderung aus
Für nicht erforderliche Felder können Sie mehrere erforderliche Felder zur Eingabe auswählen. Zum Beispiel: Mobiltelefonnummer, Name, Personalausweis. Diese Funktion kann die Anzahl der auszufüllenden Felder begrenzen. Wenn das Nummernfeld 2 ist, müssen zwei Felder ausgefüllt werden. Sie können die Mobiltelefonnummer oder den Namen, den Personalausweis oder die Mobiltelefonnummer eingeben, um die Rücksendung zu erhalten Parameter, andernfalls schlägt der Aufruf fehl.
2. Unterstützt die Auswahl exportierter Inhalte beim Exportieren von API-Dokumenten
Beim Exportieren von API-Dokumenten können Sie den zu exportierenden Inhalt auswählen und auch einige APIs im Verzeichnis für den Dokumentenexport auswählen.
3. Ob das Rückgabeergebnis der Registrierungs-API über eine Plattform-Standardstrukturunterstützungskonfiguration verfügt
Hintergrund: Die aktuell im Datendienst registrierte API wird mit einer Inhaltsschicht umhüllt, was dazu führt, dass die Rückgabeergebnisse nach der Registrierung nicht mit der nativen API übereinstimmen.
Beschreibung der Erlebnisoptimierung: Fügen Sie dem Backend ein Konfigurationselement hinzu, um zu konfigurieren, ob unsere eigenen Inhalte zu den zurückgegebenen Ergebnissen hinzugefügt werden sollen. Es wird standardmäßig hinzugefügt.
4. Unterstützen Sie die Erstellung von API-Leistungsschaltern und Downgrade-Richtlinien
Unterstützen Sie die Erstellung vonDowngrade-Richtlinien für Leistungsschalter:
Nach der Erstellung können Sie Anwendungen in einer einzigen API auswählen:
Customer Data Insight-Plattform
Neue Funktionsupdates
1. Das Etikettenverzeichnis unterstützt Batch-Upload und -Download.
Hintergrund: Normalerweise gibt es zwei Umgebungen für Kundenentwicklungs-Tags: Produktionsumgebung und Testumgebung. Es wird erwartet, dass das in der Testumgebung erstellte Tag-Verzeichnis direkt mit der Produktionsumgebung synchronisiert wird, sodass keine wiederholten Vorgänge erforderlich sind.
Beschreibung der neuen Funktionen:
• Geben Sie die Tag-Verzeichnisliste von Projekt A ein und klicken Sie auf „Verzeichnis-Download“, um die Verzeichnisdatei herunterzuladen
• Geben Sie die Tag-Verzeichnisliste von Projekt B ein und klicken Sie auf „Verzeichnis hochladen“, um die Verzeichnisdatei hochzuladen
• Laden Sie eine Verzeichnisdatei im CSV-Format hoch. Das System führt inkrementelle Aktualisierungen basierend auf dem Verzeichnisnamen, der Verzeichnisebene und dem übergeordneten Verzeichnis durch Stellen Sie sicher, dass das übergeordnete Verzeichnis bereits in einer Datei oder einem Online-Verzeichnis vorhanden ist. Das Dateiverzeichnis wird asynchron aktualisiert und kann während des Aktualisierungsvorgangs nicht geändert werden.
2. Beschriften Sie die Kopie projekt-/entitätsübergreifend
Hintergrund: Wenn sich die Testumgebung und die Produktionsumgebung am gleichen Ort befinden, möchten wir erkennen, dass das Etikett auf einfache Weise in der Produktionsumgebung festgelegt werden kann, nachdem die Testfunktion für die Etikettenverarbeitung in der Testumgebung korrekt ist.
Beschreibung der neuen Funktionen:
• Bei „Neues Etikett“ können Sie Etiketten anderer Entitäten oder anderer Projekte unter das aktuelle Projekt kopieren, um schnell Tags unter der aktuellen Entität zu erstellen
• Nachdem Sie ein bestimmtes Tag ausgewählt haben, gelangen Sie zur Tag-Erstellungsseite und geben die Konfigurationsinformationen des kopierten Tags schnell in die Konfiguration des aktuellen neuen Tags ein. Wenn es sich um Tabellen/Tags handelt, die nicht für die aktuelle Entität konfiguriert wurden , müssen Sie es erneut manuell auswählen.
3. Die Datensynchronisierung unterstützt die Synchronisierung mit Inceptor und generiert Tabellen im Hyperbase-Format.
Hintergrund: Die unterste Schicht des Datenstapels unterstützt die Verwendung von TDH. Die entsprechenden Datenclients der oberen Schicht werden im Inceptor gespeichert. Dementsprechend müssen die Datensynchronisationsergebnisse mit dem Inceptor synchronisiert werden.
Neue Funktionsbeschreibung: In den API-Zugriffsdatenquelleneinstellungen kann die Inceptor-Datenquelle festgelegt werden.
Funktionsoptimierung
1. Tag-SQL-Optimierung und partitionsbezogene Feldaufteilung zur Verbesserung der Verarbeitungseffizienz
Hintergrund: Das historische SQL-Spleißen basiert auf der gesamten Tabelle für die Datenabfrage. Wenn die Datenmenge groß ist, kommt es zu einem Speicherüberlaufszenario, das zu einem Fehler führt.
Beschreibung der Erfahrungsoptimierung: Bei der SQL-Optimierungsanpassung wird zunächst die erforderliche Partition ermittelt und dann eine Datenabfrage für diese bestimmte Partition durchgeführt, um Fehlerberichte zu vermeiden.
2. Fügen Sie der Entität Beschreibungsinformationen zur Quelltabelle hinzu
Hintergrund: Der Verlauf der an der Entität beteiligten Tabelleninformationen wird nach Tabellennamen angezeigt. Die englische Form ist für ein intuitives Verständnis nicht geeignet. Zusätzlich wird der Inhalt der Tabellenbeschreibung angezeigt.
Anleitung zur Erlebnisoptimierung:
• Tabellenbeschreibungsinformationen in Entitätsdetails anzeigen
• Entitäten erstellen/bearbeiten und Tabellenbeschreibungsinformationen anzeigen
3. Auf den Seiten „Tag-Konfiguration“, „Tag-Markt“ und „Tag-Gruppe“ werden Tag-Name und Beschreibungsinformationen angezeigt
4. Listenoptimierung
Tag-Kreis-Gruppeninstanzlistenseite, Gruppendetails-Gruppenlistenseite, Gruppenschnittpunkt und -differenz und andere Seiten, schieben Sie die Seite zur Liste Bereich kann der Listenbereich in voller Breite angezeigt werden, um mehr Inhalte anzuzeigen.
Plattform zur Indikatorverwaltung
Neue Funktionsupdates
1. Die historischen Daten der Indikatorergebnistabelle unterstützen Aktualisierungen auf Zeilenebene.
Hintergrund: In einem Leistungsbeurteilungsszenario werden die Regeln für die Leistungszuordnung von Geschäftsmitarbeitern formuliert. Normalerweise erfolgt die Einführung der Regeln mit einer Verzögerung, das heißt, die Regeln werden am 1. April 2023 eingeführt und treten am 1. Januar in Kraft. 2023. Eine Aktualisierung der Daten ist seit dem 1. Januar 2023 erforderlich. Die gesamte Tabellenaktualisierungsmethode ist langsam und beansprucht viele Ressourcen. Nur die Aktualisierung der betroffenen Zeilen verkürzt den Aktualisierungszyklus und hat relativ geringe Auswirkungen auf die normale Geschäftsnutzung.
Beschreibung der neuen Funktionen:
Der Gesamtvorgang der Zeilenaktualisierung ist wie folgt:
• Legen Sie beim Erstellen einesDatenmodells für die Hudi-Tabelle, in der die Quelltabelle Zeilenaktualisierungen umfasst, fest, dass Zeilenaktualisierungen erforderlich sind, und erstellen Sie das model Anschließend stellt das System eine Schnittstelle für die Tabelle bereit, um die Änderungsdatenbedingungen zu übergeben
• Erstellen Sie nach Bedarf entsprechende Indikatoren. Da die Zeilenaktualisierungstabelle im Modell verwendet wird, werden nachfolgende Indikatoren über Spark berechnet und als Hudi-Tabellen gespeichert. Gleichzeitig unterstützt Spark kein gleichzeitiges Schreiben in Hudi-Tabellen, zyklusübergreifend Abhängigkeiten sind an der Planung beteiligt. Inhalte müssen so ausgewählt werden, dass sie eigenständig sind
• Rufen Sie die Zeilenaktualisierungsschnittstelle der Tabelle auf und übergeben Sie die Änderungsleiste. Die Schnittstelleninformationen können über die Tabellendetails in „Datenquellenverwaltung<“ abgerufen werden a i=2>" Prüfen. Das System identifiziert automatisch die betroffenen Zeilen in allen Indikatortabellen basierend auf den empfangenen Änderungsdatensätzen basierend auf der im Voraus festgelegten Aktualisierungshäufigkeit, berechnet die neuen Ergebnisse und aktualisiert dann die historischen Daten stapelweise. Wenn die Zeilenaktualisierung der Daten dringend ist, oder Klicken Sie auf „Zeilenaktualisierung“, um es sofort auszuführen
• Fragen Sie im Modul [Datenquellenverwaltung] den Zeilenaktualisierungsfortschritt nachfolgender Indikatoren ab, nachdem die relevanten Datensätze geändert wurden.
2. Das Indikatorverzeichnis unterstützt die Berechtigungskontrolle
Hintergrund: Basierend aufIndikatorsicherheitsstufe müssen unterschiedliche Indikatoren für unterschiedliche Personen autorisiert werden. Normalerweise ist das Indikatorverzeichnis nach Unternehmen unterteilt. Angesichts der Komplexität des Vorgangs ist geplant, die Indikatorautorisierungsfunktion vor dem Indikatorverzeichnis zu platzieren und die Anzeige-/Bearbeitungsberechtigungen aller Indikatoren im Verzeichnis über das Indikatorverzeichnis zu steuern.
Beschreibung der neuen Funktionen:
Klicken Sie auf die Schaltfläche „Autorisieren“ auf der rechten Seite des Verzeichnisses, um das Verzeichnisautorisierungsfenster zu öffnen.
Auf der Autorisierungsseite stellt das System das neu erstellte Verzeichnis standardmäßig so ein, dass es von allen Mitgliedern bearbeitet werden kann. Auf dieser Grundlage kann es so geändert werden, dass es von allen Mitgliedern sichtbar und von einigen Benutzern bearbeitet werden kann; die Einstellung „Alle Mitglieder“ kann dies auch sein deaktiviert und nur für einige Benutzer sichtbar und bearbeitbar. Bearbeitungsvorgänge.
Benutzer, denen die Berechtigung erteilt wurde, können alle Indikatoren in diesem Verzeichnis sehen und beim Erstellen/Bearbeiten von Indikatoren auch ein Verzeichnis mit Berechtigung auswählen.
3. Der Indikator unterstützt das benutzerdefinierte Hinzufügen von UDF-Funktionen
Hintergrund: Die derzeit vom System unterstützten Funktionen sind alle von Trino unterstützteSystemfunktionen. Auf dieser Grundlage wird es einige Szenarien geben, in denen Sie werden benötigt. Benutzerdefinierte Funktionen, wie zum Beispiel: Abrufen des Datums vom letzten Montag, dieser Inhalt muss durch benutzerdefinierte Funktionen implementiert werden.
Beschreibung der neuen Funktionen:
Für die Trino385-Version können benutzerdefinierte Trino-Funktionen im Modul „Funktionsverwaltung“ erstellt werden. Erfolgreich erstellte benutzerdefinierte Funktionen finden Sie in der im Indikator referenzierte Benutzerdefiniert.
Schritt 1: Bevor Sie eine benutzerdefinierte Funktion auf der Plattform erstellen, müssen Sie das Plug-in für benutzerdefinierte Funktionen schreiben und die Datei in ein ZIP-Paket packen.
Schritt 2: Klicken Sie auf „Neue benutzerdefinierte Funktion“, um das Funktionseinstellungsfenster aufzurufen, die Funktionsinformationen zu konfigurieren und die gepackte Datei hochzuladen.
Schritt 3: Rufen Sie die Seite „Neu/Bearbeiten“ des benutzerdefinierten Indikators auf, schreiben Sie SQL und rufen Sie die benutzerdefinierte Funktion auf.
4. Fügen Sie dem statistischen Zyklus Zeitparameter hinzu: Anfang des letzten Quartals, Anfang des letzten Monats, Ende des letzten Monats, Anfang des letzten Jahres
Hintergrund: Im Leistungsbeurteilungsszenario umfasst der statistische Zyklus die Statistik der zusammenfassenden Daten des Vormonats, des letzten Quartals und des Vorjahres. Die entsprechenden Zeitparameter müssen den Beginn des letzten Quartals, den Beginn des letzten Monats und das Ende unterstützen des letzten Monats und des Anfangs des letzten Jahres im Format jjjjMMtt und jjjj-MM-tt. Parameter.
Beschreibung der neuen Funktionen:
• Anfang des letzten Quartals: bdp.system.preqrtrstart, bdp.system.preqrtrstart2
• Anfang letzten Monats: bdp.system.premonthstart, bdp.system.premonthstart2
• Ende des letzten Monats: bdp.system.premonthend, bdp.system.premonthend2
• Anfang letzten Jahres: bdp.system.preyrstart, bdp.system.preyrstart2
5. Unterstützen Sie Zeilenaktualisierungen für neue Modelle, die basierend auf der Indikatorergebnistabelle generiert werden
Hintergrund: Im Leistungsbeurteilungsszenario gibt es eine Möglichkeit, Indikator 1 basierend auf Modell 1 zu erstellen und die Ergebnisse von Indikator 1 als Datenquellentabelle von Modell 2 zu verwenden. Es ist erforderlich, die Zeilen der Tabelle von Modell 1 zu aktualisieren sodass sowohl Indikatoren 1 als auch Modell 2 aktualisiert werden können. Zeilenaktualisierung.
Neue Funktionsbeschreibung: Der Indikator bietet eine Schnittstelle zur Nachverfolgung des Zeilenaktualisierungsstatus. Das Unternehmen ruft den Status über die Schnittstelle auf und ruft dann auf das nächste Modell, das aktualisiert werden soll. .
• Wenn die Tabelle in den Datenmodelleinstellungen aus dem Hive-Katalog ausgewählt wird, besteht keine Notwendigkeit, Zeilenaktualisierungen festzulegen, und die Aktualisierungsmethode kann geändert werden; wenn Hudi-Katalog ausgewählt wird, müssen Zeilenaktualisierungen festgelegt werden
• In der Datenquellenverwaltung werden nur Hudi-Datenquellen angezeigt
• Für Tabellen, die Zeilenaktualisierungen erfordern, stehen zwei Löschmethoden zur Verfügung:
1) Physische Löschung: Die Datenlöschung der Tabelle erfolgt direkt. Zu diesem Zeitpunkt müssen Sie sicherstellen, dass CDC für die Tabelle aktiviert ist oder die Dateispeichermethode op_key_only/data_before_after ist. Andernfalls kann das System die Datenunterschiede vor und nach der Änderung nicht verfolgen.
2) Logisches Löschen: Das Löschen von Tabellendaten zeichnet sich durch die Wertänderung eines gelöschten Felds aus. Zu diesem Zeitpunkt müssen Sie das gelöschte Feld und den entsprechenden Wert angeben.
• Der entsprechende Fortschritt der Abfrageaktualisierung jeder Indikatorzeile kann über die Schnittstelle abgefragt werden:
1) Eingabeparameter: Tabelleninformationen, Anforderungs-ID, Zeilenaktualisierung einschließlich Modellidentifikation/Indikatoridentifikation/API-Name
2) Ausgabeparameter: Modell-/Indikator-/API-Aktualisierungsstatus, Startzeit der Tabellendatenaktualisierung, Endzeit der Tabellendatenaktualisierung für die erforderliche Tabelle und den erforderlichen Anforderungsbatch
• Indikatoren im Zusammenhang mit Zeilenaktualisierungen werden entsprechend angepasst. Die Tabellenerstellungsanweisung der Hudi-Tabelle wird entsprechend angepasst.
Funktionsoptimierung
1. Die gemeinsame Nutzung von Indikatoren erhöht die Anzeige detaillierter Informationen
Hintergrund:IndikatorfreigabeDie Funktion des Moduls wurde überarbeitet, wodurch es unpraktisch wird, die Freigaberegeln gemeinsamer Indikatoren/Modelle anzuzeigen.
Anweisungen zur Erlebnisoptimierung: Klicken Sie auf den freigegebenen Indikator/Modellnamen, um die entsprechenden Inhaltsdetails anzuzeigen, einschließlich Freigabeinformationen und Freigaberegeln.
2. Anpassung der durch die gemeinsame Nutzung von Indikatoren generierten Ansichtserstellungsregeln
Hintergrund: Das Szenario zum Generieren von Spark-Lese- und Schreibdaten basierend auf der Zeilenaktualisierungsfunktion. Da Spark derzeit keine Abfrage von Trino-Ansichten unterstützt, muss die Ansicht von der Erstellung durch Trino auf die Erstellung durch Spark geändert werden.
Anleitung zur Erlebnisoptimierung:
• Ansichten, die am Indikator-/Modellfreigabeprozess beteiligt sind, werden so geändert, dass sie über Spark erstellt werden
• Änderungen an Ansichtsnamen, die durch gemeinsam genutzte Indikatoren und Modelle generiert werden. 1) Name der Modellansicht: Tabellenname_Projekt-ID_Modell, Code_Index_Ansicht 2) Name der Indikatoransicht: Indikatorergebnis Tabellenprojekt-ID_Indexansicht
3. Downstream-Verknüpfungsaktualisierung von Modell-/Indikatoraktualisierungen
Hintergrund: Während des Indikatorverarbeitungsprozesses gibt es Situationen, in denen Upstream-Konfigurationselemente geändert werden. Zu diesem Zeitpunkt muss das entsprechende Downstream-SQL synchron aktualisiert werden, um eine effiziente globale Konfiguration und einheitliche Funktionen sicherzustellen. Die repräsentativen Verwendungsszenarien sind wie folgt:
• Während der Kundennutzung können sich Informationen wie die Konfiguration des Partitionsfelds/Dimensionsobjektattributs der Modelltabelle ändern. Nachdem die bearbeiteten technischen Informationen geändert wurden, wird derzeit nur die Erhöhung oder Verringerung der Dimensionsprüfung nachgelagert aktualisiert, und die übrigen technischen Informationen werden aktualisiert. Änderungen erfordern auch verknüpfte Aktualisierungen
• Wenn Kunden Indikatoren berechnen, kann es Situationen geben, in denen die Verarbeitungskaliber innerhalb verschiedener statistischer Intervalle desselben Indikators unterschiedlich sind. In diesem Fall sind Daten unter zwei Kalibern gleichzeitig in der Tabelle vorhanden, basierend auf der Aktionszeit des Kalibers. Für Beispiel: Die Daten im Jahr 2022 sind das Ergebnis von Kaliber 1. Die Daten im Jahr 2023 sind das Ergebnis von Kaliber 2
Anleitung zur Erlebnisoptimierung:
• Nachdem das Modell die Tabellenzuordnung geändert hat, aktualisieren die atomaren Indikatoren und abgeleiteten Indikatoren die SQL auf verknüpfte Weise und aktualisieren die SQL des Modellteils auf die neue Version. Wenn sich gleichzeitig die vom gelöschten Modell ausgewählte Tabelle ändert, aktualisiert die Modellergebnistabelle die Modelltabelle, indem sie die Tabelle löscht und eine neue Tabelle erstellt
• Nachdem die ausgewählte Dimension im Modell das zugehörige Dimensionsobjekt und die zugehörigen Dimensionsattribute geändert hat, werden die vom Atomindikator referenzierten Dimensionsobjekt- und Dimensionsattributinformationen gleichzeitig aktualisiert.
• Änderung im ModellUpstream-Task-Abhängigkeit, gleichzeitig wird die Upstream-Task-Konfiguration im abgeleiteten Indikator angepasst
• Wenn die Modell-/Indikatordimensionen reduziert werden, was dazu führt, dass die von nachgeschalteten Indikatoren verwendeten Dimensionen verschwinden, verwenden Sie die Methode zum Löschen der Tabelle und zum erneuten Erstellen der Tabelle, um die Indikatortabelle zu aktualisieren.
• Wenn sich der Feldtyp der vom Modell verwendeten Quelltabelle ändert, aktualisiert die Indikatortabelle, die anschließend auf das Feld verweist, die Indikatortabelle, indem sie die Tabelle löscht und die Tabelle neu erstellt.
4. Leistungsoptimierung der Zeilenaktualisierung
Die erste Version der Zeilenaktualisierung wurde auf Partitionsbasis optimiert und war insgesamt langsam. Diese Optimierung zielt auf bestimmte Zeilen innerhalb der Partition zur Optimierung ab und verbessert so die Gesamteffizienz der Zeilenaktualisierung.
Download-Adresse „Dutstack Product White Paper“:https://www.dtstack.com/resources/1004?src=szsm
Download-Adresse „Data Governance Industry Practice White Paper“:https://www.dtstack.com/resources/1001?src=szsm
Für diejenigen, die mehr über Big-Data-Produkte, Branchenlösungen und Kundenbeispiele erfahren oder sich beraten lassen möchten, besuchen Sie die offizielle Website von Kangaroo Cloud:https://www.dtstack. com/? src=szkyzg
IntelliJ IDEA 2023.3 & JetBrains jährliches Hauptversionsupdate Neues Konzept „defensive Programmierung“: Machen Sie sich einen stabilen Job GitHub .com läuft mehr Wie kann ich bei mehr als 1.200 MySQL-Hosts nahtlos auf 8.0 upgraden? Stephen Chows Web3-Team wird nächsten Monat eine unabhängige App starten Wird Firefox eliminiert? Visual Studio Code 1.85 veröffentlicht, schwebendes Fenster Yu Chengdong: Huawei wird nächstes Jahr bahnbrechende Produkte auf den Markt bringen und die Branchengeschichte neu schreiben USA CISA Es wird empfohlen, C/C++ aufzugeben und Sicherheitslücken im Speicher zu beseitigen TIOBE Dezember: C# wird voraussichtlich die Programmiersprache des Jahres werden Lei Juns Artikel wurde geschrieben Vor 30 Jahren: „Computer Virus Determination Expert System Principles and Design