Die neueste Version von Flink 1.12.0 SQL-CLI-Konfiguration Verbindungsgarn-Sitzung

1. Für die Hauptreferenz:

https://mp.weixin.qq.com/s/99ehmNzJVwW3cOrw_UkGsg
https://mp.weixin.qq.com/s/YuR-s5zCtBz_5ku_bttbaw
https://ci.apache.org/projects/flink-- release-1.12 / dev / table / connectors / hive / # Abhängigkeiten
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/sqlClient.html
https: //www.jianshu .com / p / af96d6618854

2. Abhängigkeit

1. Fügen Sie drei Glaspakete hinzu:

  • flink-connector-hive_2.11-1.12.0.jar

  • flink-sql-connector-hive-2.2.0_2.11-1.12.0.jar

  • hive-exec-2.1.1-cdh6.3.1.jar

2. Konfigurieren Sie die Datei conf / sql-client-defaults.yaml im flink-Verzeichnis

#catalogs: [] # empty list
# A typical catalog definition looks like:
catalogs:
   - name: myhive
     type: hive
     hive-conf-dir: /etc/hive/conf
     default-database: default

#配置当前的Catalog和Database:     
current-catalog: myhive
current-database: default 

3. Wenn Sie die oben genannten drei JAR-Pakete hinzufügen, kann der Standlone-Modus normal sein

启动./start-cluster.sh
再./sql-client.sh embedded启动客户端
再输入查询语句就能直接执行

4. Wenn der Standlone-Cluster nicht gestartet wird, stellt er eine Verbindung zur Garnsitzung her. Zu diesem Zeitpunkt wird jedoch ein Fehler gemeldet. Org.apache.hadoop.mapred.JobConf

Caused by: java.lang.ClassNotFoundException: **org.apache.hadoop.mapred.JobConf**
  at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
  at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
  at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
  ... 52 more

Der seltsame Ort ist, dass ich die folgenden Umgebungsvariablen in der Datei / etc / profile konfiguriert habe

 export HADOOP_CLASSPATH=`hadoop classpath`

Aber es ist nutzlos, es fehlt immer noch die Abhängigkeit von hadoop, also müssen Sie die Abhängigkeit von hadoop im lib-Paket hinzufügen:

要么是这个:
       flink-shaded-hadoop-2-uber-2.7.5-8.0.jar

要么是:
      hadoop-common-3.0.0-cdh6.3.1.jar
      hadoop-mapreduce-client-common-3.0.0-cdh6.3.1.jar
      hadoop-mapreduce-client-core-3.0.0-cdh6.3.1.jar
      hadoop-mapreduce-client-hs-3.0.0-cdh6.3.1.jar
      hadoop-mapreduce-client-jobclient-3.0.0-cdh6.3.1.jar

3. Die Gruben und die Optimierung der Produktion von Flink-SQL in der Bienenstockpraxis sind in meinem anderen Dokument zu sehen (fortlaufende Aktualisierung ...).

https://blog.csdn.net/weixin_44500374/article/details/112610629

Ich denke du magst

Origin blog.csdn.net/weixin_44500374/article/details/112610534
Empfohlen
Rangfolge