Inhaltsverzeichnis
Konfigurationsanleitung
Alle Konfigurationsparameter von Flink können auf der Clientseite konfiguriert werden. Es wird empfohlen, dass Benutzer die Clientkonfigurationsdatei flink-conf.yaml zur Konfiguration direkt ändern:
- Pfad der Konfigurationsdatei: flink/conf/flink-conf.yaml.
- Das Konfigurationsformat der Datei ist key: value .
Beispiel: taskmanager.heap.size: 1024 MB
Beachten Sie, dass zwischen dem Konfigurationselement key: und value ein Leerzeichen stehen muss .
Konfigurationsdetails :
• JobManager und TaskManager:
JobManager und TaskManager sind die Hauptkomponenten von Flink und zielen auf verschiedene Sicherheitsszenarien und Leistungsszenarien ab.
Zu den Konfigurationselementen gehören Kommunikationsports, Speicherverwaltung, Verbindungswiederholungen usw.
• Blob-Server:
Der Blob-Server auf dem JobManager-Knoten wird verwendet, um das vom Benutzer auf dem Client hochgeladene Jar-Paket zu empfangen oder das Jar-Paket an den TaskManager zu senden, Protokolldateien zu übertragen usw.
Zu den Konfigurationselementen gehören Port, SSL, Anzahl der Wiederholungsversuche, Parallelität usw.
• Verteilte Koordination (über Akka):
Die Kommunikation zwischen dem Flink-Client und dem JobManager, die Kommunikation zwischen dem JobManager und dem TaskManager sowie die Kommunikation zwischen dem TaskManager und dem TaskManager basieren alle auf dem Akka-Akteurmodell, und verwandte Parameter können sein entsprechend der Netzwerkumgebung oder Optimierungsstrategie konfiguriert werden.
Zu den Konfigurationselementen gehören Timeout-Einstellungen für das Senden und Warten von Nachrichten, der Akka-Überwachungsmechanismus Deathwatch usw.
• SSL:
Wenn Sie einen sicheren Flink-Cluster konfigurieren müssen, müssen Sie SSL-bezogene Konfigurationselemente konfigurieren.
Zu den Konfigurationselementen gehören SSL-Schalter, Zertifikat, Passwort, Verschlüsselungsalgorithmus usw.
• Netzwerkkommunikation (über Netty):
Wenn Flink einen Job ausführt, basieren die Datenübertragung zwischen Aufgaben und die Gegendruckerkennung alle auf Netty. In einigen Umgebungen müssen möglicherweise Netty-Parameter konfiguriert werden. Für eine erweiterte Optimierung können einige Netty-Konfigurationselemente angepasst werden, und die Standardkonfiguration kann die gleichzeitigen Hochdurchsatzaufgaben großer Cluster erfüllen.
• JobManager Web Frontend:
Wenn der JobManager startet, startet er den Webserver im selben Prozess. Durch Zugriff auf den Webserver können Sie Informationen über den aktuellen Flink-Cluster abrufen, einschließlich JobManager, TaskManager und im Cluster ausgeführten Jobs.
Zu den Konfigurationselementen der Webserver-Parameter gehören Port, temporäres Verzeichnis, Anzeigeelemente, Fehlerumleitung, sicherheitsrelevante Elemente usw.
• Dateisysteme:
Die Ergebnisdatei wird während der Ausführung der Aufgabe erstellt, was die Konfiguration des Dateierstellungsverhaltens unterstützt.
Zu den Konfigurationselementen gehören Richtlinien zum Überschreiben von Dateien, Verzeichniserstellung usw.
• State Backend:
Flink bietet HA und eine abnormale Wiederherstellung von Jobs sowie die Unterbrechung und Wiederherstellung von Jobs während Versions-Upgrades. Für die Speicherung des Jobstatus verlässt sich Flink auf das Status-Backend, und der Neustart des Jobs hängt von der Neustartstrategie ab. Benutzer können diese beiden Teile konfigurieren.
Zu den Konfigurationselementen gehören der Status-Backend-Typ, der Speicherpfad, die Neustartstrategie usw.
• Kerberos-basierte Sicherheit:
Kerberos-bezogene Konfigurationselemente müssen im Flink-Sicherheitsmodus konfiguriert werden.
Zu den Konfigurationselementen gehören Kerberos-Keytab, Principal usw.
• HA:
Der HA-Modus von Flink hängt von ZooKeeper ab, daher müssen ZooKeeper-bezogene Konfigurationen konfiguriert werden.
Zu den Konfigurationselementen gehören ZooKeeper-Adresse, Pfad, Sicherheitsauthentifizierung usw.
• Umgebung:
Für Szenarien mit spezifischen Anforderungen an die JVM-Konfiguration können Sie JVM-Parameter über Konfigurationselemente an den Client, JobManager, TaskManager usw. übergeben.
• Yarn:
Wenn Flink auf dem Yarn-Cluster ausgeführt wird, wird der JobManager auf dem Application Master ausgeführt. Einige Konfigurationsparameter von JobManager hängen von Yarn ab. Durch die Konfiguration von YARN-bezogenen Konfigurationen kann Flink besser auf Yarn laufen.
Zu den Konfigurationselementen gehören Garncontainerspeicher, virtueller Kernel, Port usw.
• Pipeline:
Um die Anforderung zur Reduzierung der Verzögerung in einigen Szenarien zu erfüllen, sind mehrere Jobs so konzipiert, dass sie Daten über eine direkte Netty-Verbindung übertragen, d. h. für die Datenübertragung werden NettySink für die Serverseite und NettySource für die Clientseite verwendet.
Zu den Konfigurationselementen gehören der Informationsspeicherpfad von NettySink, der Portüberwachungsbereich von NettySink, ob die Verbindung mit SSL verschlüsselt ist und die Domäne des Netzwerks, die NettySink für die Überwachung verwendet usw.