Apache Linkis Version 1.5.0 wurde veröffentlicht. Wir sind allen Community-Mitgliedern sehr dankbar für ihre Beiträge und Bemühungen zur Version 1.5.0.
Diese Version ist eine Hauptversion und fügt viele Funktionen hinzu, auf die die Community schon lange gewartet hat, wie zum Beispiel: Das Registrierungscenter unterstützt den Wechsel von Nacos, neue Engines wie Hbase, Nabula, Repl usw. und die neue SPARK-Engine Plug-in unterstützt den Yarn-Cluster-Modus. , SPARK- und Flink-Engine-Plug-ins unterstützen die k8s-Übermittlung von Jar-Aufgaben und andere Funktionsfunktionen und haben mehrere bekannte Probleme behoben.
Einzelheiten finden Sie in den offiziellen Versionsinformationen von Apache Linkis 1.5.0:
https://linkis.apache.org/zh-CN/download/release-notes-1.5.0
Einführung in die Apache Linkis 1.5.0-Version
● Das Registrierungszentrum unterstützt den Wechsel von Eureka zu Nacos
● Hbase-Engine-Plugin hinzugefügt, unterstützt die gesamte Hbase-Shell-Syntax und ist mit mehreren Versionen kompatibel
● Nebula-Engine-Plugin hinzugefügt
● Repl-Interpreter-Engine-Plugin hinzugefügt, um die Ausführung von Java- und Scala-Codefragmenten zu unterstützen
● Unterstützen Sie Spark EC auf k8s, um JAR- und Pyspark-Aufgaben zu übermitteln
● Unterstützen Sie Flink EC auf k8s, um JAR-Aufgaben zu senden
● Das Spark-Engine-Plug-in unterstützt den Garn-Cluster-Laufmodus
● Der Linkis JDBC-Treiber unterstützt die Auswahl mehrerer Engines und Versionen
● Die grundlegende Datenverwaltung fügt die Konfigurationselementverwaltung hinzu, sodass Administratoren die Konfigurationselemente jedes Engine-Plug-Ins verwalten können.
● Die Verwaltungskonsole verfügt über zusätzliche Betriebs- und Wartungstools sowie eine Benutzerkonfigurationsverwaltung, um Administratoren bei der Anpassung der Benutzerkonfiguration und der Vorlagenverwaltung zu unterstützen.
● [Experimentell] Entrance unterstützt die Aufgabenübernahme und macht Entrance zustandslos.
Abkürzung:
● GEMEINSAM: Gemeinsam verknüpfen
● EINGANG: Linkis-Eingang
● EC: EngineConn
● ECM: EngineConnManager
● ECP: EngineConnPlugin
● DMS: Datenquellen-Manager-Dienst
● MDS: MetaData Manager-Dienst
● LM: Link-Manager
● PS: Linkis Public Service
● PE: Link-Öffentliche Erweiterung
● RPC: Linkis Common RPC
● CG: Linkis Computation Governance
● DEPLOY: Linkis-Bereitstellung
● WEB: Verlinktes Web
● GATEWAY: Linkis-Gateway
● EP: Engine-Plugin
Neue Eigenschaften
● Das [EC] LINKIS-5008- Registrierungscenter unterstützt Nacos
● [GATEWAY] Das LINKIS-4992 Gateway unterstützt die Konfiguration der Zugriffskontrolle
● [EC-REPL] LINKIS-4937 Repl-Interpreter-Engine-Plugin hinzugefügt, um die Ausführung von Scala- und Java-Code zu unterstützen
● [EC-NEBULA] LINKIS-4903 fügt das Nebula-Engine-Plug-in hinzu
● [EC-HBASE] LINKIS-48 91 fügt Hbase-Engine-Plug-in hinzu
● [EC-SPARK] Das LINKIS-4850 SPARK-Engine-Plug-in unterstützt den On-Yarn-Cluster-Betrieb
● [EC-SPARK] LINKIS-4867 SPARK-Engine-Plug-in unterstützt das Senden von Jar-Aufgaben auf k8s
● [EC-SPARK] LINKIS-4906 SPARK-Engine-Plug-in unterstützt das Senden von Pyspark-Jobs auf k8s
● [JDBC-DRIVER] LINKIS-4930 JDBCDriver unterstützt mehrere Engine-Versionen
● [EC-FLINK] LINKIS-4753 Flink-Engine-Plug-in aktualisiert auf 1.16.2 und kompatibel mit mehreren Versionen
● [ENTRANCE] LINKIS-4282 Experimentell: Der Eingangsdienst unterstützt HA
● [MONITOR] LINKIS-4905 Experimentell: Linkis Monitor-Dienst hinzufügen
● [WEB] LINKIS-4940 Experimentell: Neues Architektur-Upgrade des Managementkonsolen-Frontends
Funktionserweiterung
● [ECM] LINKIS-4990 unterstützt die Verwaltungsstation beim Herunterladen von EC-Protokolldateien
● [EC] LINKIS-4982 Erweitern Sie EC-Anzeigen und fügen Sie Sperrleerlauf- und andere Zeitanzeigen hinzu
● [WEB] Die LINKIS-4954- Verwaltungskonsole fügt eine Benutzerkonfigurationsverwaltungsseite hinzu
● [EC-SPARK] LINKIS-4961 Pyspark fügt weitere Standardklassenimporte hinzu
● [EC-PYTHON] LINKIS-4835 Das Python-Engine-Plug-in optimiert das Drucken und Drucken von Fehlermeldungen
● [EC-SPARK] LINKIS-4896 SPARK Once-Aufgabe unterstützt EngineConnRuntimeMode-Tag-Konfiguration
● [LM] LINKIS-4914 Die Sortier- und Auswahlregeln für LM-Ressourcen sind von groß nach klein optimiert
● Die [WEB] LINKIS-4935- Verwaltungskonsole unterstützt die Konfiguration von spark.conf-Parametern und mehreren nativen SPARK-Parametern.
● [EC] LINKIS-4714 EC unterstützt die Angabe des Debug-Portbereichs
● [EC-FLINK] Das LINKIS-5023 Flink-Engine-Plug-in unterstützt das Lesen der benutzerdefinierten log4j-Konfiguration
● Die [PES] LINKIS-4838- Schnittstelle zum Lesen und Schreiben von Dateien unterstützt mehr Parameter und Vorgänge
● [LM] LINKIS-4850 LM unterstützt die Verwaltung von K8s-Ressourcen
● [PE] LINKIS-4847 Optimieren Sie die Anzahl der Module und führen Sie öffentliche Datenquellenmodule zusammen
● [PE] LINKIS-4853 optimiert die Anzahl der Module und führt das öffentliche Client-Modul mit dem pes-Client-Modul zusammen
● [PE] LINKIS-4854 Optimieren Sie die Anzahl der Module, um mehrere Module öffentlicher Dienste zusammenzuführen
● Der [PE] LINKIS-4934- Datenquellendienst unterstützt das Zusammenführen und die separate Bereitstellung
● [EC-FLINK] Das LINKIS-5025 Flink-Engine-Plug-in unterstützt das Laden der Standardkonfiguration
● Das [EC-JDBC] LINKIS-5007 JDBC-Engine-Plug-in unterstützt die Aufgabenverkettung zwischen mehreren Aufgaben
Reparaturfunktion
● [EC-Flink]LINKIS-5041 Behebt das Problem des interaktiven Flink SQL-Druckstatuserfassungsfehlerprotokolls
● Die [MDS]LINKIS-4998 ES-Datenquelle ist mit 6.X und 7.X kompatibel
● [EC-SPARK]LINKIS-4996 Die Scala-Aufgabe des SPARK-Engine-Plug-ins unterstützt das Drucken von Fehlerinformationen im Aufgabenprotokoll
● [ENTRANCE]LINKIS-4967 Behebung des Parsing-Fehlers, der durch ein Semikolon im SQL-Parsing-Kommentar verursacht wurde
● [EC]LINKIS-4920 Das Problem, dass die Ergebnismenge null als Zeichenfolge NULL zurückgegeben wird, wurde behoben
● [CLI]LINKIS-4919 Client behebt gleichzeitiges NPE-Problem
● [CG]LINKIS-4915 Das Problem der hohen falschen Auswahllast in der ECM-Auswahllogik von LM wurde behoben.
● [LM]LINKIS-4860 Behebung des Problems verstümmelter chinesischer Zeichen in der Linkis-httpclient-Postschnittstelle
● [LM]LINKIS-4771 Die einmalige Auftragsübermittlung von Linkis-Cli sollte im Once-Modus erfolgen
● [LM]LINKIS-4731 Das Kill-EC-Skript sollte den ECM-Prozess überspringen
Ausführliche Anleitung
● Übersicht über diese Version: https://linkis.apache.org/zh-CN/download/release-notes-1.5.0
● Ausführliche Informationen zur Installation und Bereitstellung finden Sie im Handbuch: https://linkis.apache.org/zh-CN/docs/latest/deployment/deploy-quick
● Offizieller Download-Link: https://linkis.apache.org/zh-CN/download/main
Community-Mitwirkender
Die Veröffentlichung von Apache Linkis 1.5.0 ist untrennbar mit den Mitwirkenden der Linkis-Community verbunden. Vielen Dank an alle Community-Mitwirkenden, einschließlich, aber nicht beschränkt auf die folgenden Mitwirkenden (in keiner bestimmten Reihenfolge aufgeführt):
