Kettle データベース接続 - 汎用データベース接続ハイブ (CDH バージョン)

バージョン: kettle7.1、hive-common-1.1.0-cdh5.5.0

目次

1.接続を作成する

2、org/apache/thrift/TException

3、org.apache.hadoop.conf.設定

---

1.接続を作成する

jdbc 経由でハイブに接続する場合は、一般的なデータ接続の汎用データベースを構成し、ドライバー パッケージを libswt/linux/x86_64 にコピーします。

 

2、org/apache/thrift/TException

エラーが報告された場合:

2023/06/26 10:55:59 - 表输入.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : An error occurred, processing will be stopp
ed: 
2023/06/26 10:55:59 - 表输入.0 - Error occurred while trying to connect to the database
2023/06/26 10:55:59 - 表输入.0 - 
2023/06/26 10:55:59 - 表输入.0 - Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver)
2023/06/26 10:55:59 - 表输入.0 - org/apache/thrift/TException

これは、ドライバー パッケージのバージョンが間違っているためです。cdh のハイブに接続しているため、CDH クラスター ディレクトリ (通常は CDH/jars/hive-jdbc-1.1.0) にハイブのドライバー パッケージをコピーする必要があります。 -cdh5.5.0-スタンドアロン.jar

3、org.apache.hadoop.conf.設定

エラーが報告された場合:

2023/06/26 11:02:57 - 表输入.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : An error occurred, processing will be stopp
ed: 
2023/06/26 11:02:57 - 表输入.0 - Error occurred while trying to connect to the database
2023/06/26 11:02:57 - 表输入.0 - 
2023/06/26 11:02:57 - 表输入.0 - Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver)
2023/06/26 11:02:57 - 表输入.0 - org/apache/hadoop/conf/Configuration

間違ったパッケージは、hadoop-common パッケージがないことが原因です。CDH ディレクトリにある hadoop-common-2.6.0-cdh5.5.0.jar をコピーするだけです。