データ レイク アイスバーグの演習 レッスン 28 パブリック ウェアハウスに存在しないパッケージをローカル ウェアハウスにデプロイする

シリーズ記事ディレクトリ

Practice Data Lake iceberg レッスン 1 はじめに
Practice Data Lake iceberg レッスン 2 Iceberg は Hadoop の基礎となるデータ形式に基づいています
実践 data lake
iceberg sqlclient で、SQL を使用して Kafka から iceberg にデータを読み取ります (バージョンを flink1.12.7 にアップグレードします)
実践 data lake iceberg レッスン 5 ハイブ カタログの特徴演習データ lake iceberg レッスン 6 kafka からiceberg への書き込み
失敗問題解決の演習データファイル演習データ lake iceberg レッスン 10 スナップショット 削除演習データ lake iceberg レッスン 11 テスト パーティション テーブルの整合性 プロセス (数値の作成、テーブルの作成、マージ、およびスナップショットの削除)演習データ lake iceberg レッスン 12 カタログとは 演習データlake iceberg レッスン 13 メタデータデータファイルよりも何倍も大きい演習 data lake iceberg レッスン 14 データマージ (時間の経過とともにメタデータが拡張する問題を解決するため)演習 data lake iceberg レッスン 15 spark インストールと統合 iceberg (jersey パッケージの競合)演習 data lake iceberg レッスン 16 spark3 Door による氷山の認識










演習 data lake iceberg レッスン 17 Hadoop2.7、spark3 on yarn run iceberg 構成
演習 data lake iceberg 演習 18 複数のクライアントが iceberg とやり取りする 開始コマンド (よく使われるコマンド)
演習 data lake iceberg レッスン 19 flink count iceberg , 結果が出ない問題の
演習 data lake iceberg レッスン 20 flink + iceberg CDC シナリオ (バージョンの問題、テスト失敗)
練習データ lake iceberg レッスン 21 flink1.13.5 + iceberg0.131 CDC (テスト成功 INSERT、変更操作失敗)
練習データ lake iceberg レッスン 22 flink1.13.5 + iceberg0. 131 CDC (CRUD テスト成功)
練習データ lake iceberg レッスン 23 flink-sql
チェックポイントから練習データ lake iceberg を再開する レッスン 24 iceberg メタデータの詳細 練習データ
lake iceberg を分析する レッスン 25 flink sql をバックグラウンドで実行する 追加、削除、変更の効果
実践 data lake iceberg レッスン 26 チェックポイントの設定方法
実践 data lake iceberg レッスン 27 Flink cdc テスト プログラムの失敗 再起動: 前回のチェックポイントから再起動して作業を続行できる
実践 data lake iceberg レッスン 28 公共の倉庫に存在しないパッケージをローカルにデプロイする倉庫の練習 data lake iceberg レッスン 29 flink jobIdをエレガント
かつ効率的に取得する方法

data lake iceberg の練習 レッスン 31 github の flink-streaming-platform-web ツールを使用して flink タスク フローを管理し、cdc 再起動シナリオをテストする
data lake iceberg の練習 その他のコンテンツ ディレクトリ

---

---

序文

問題: iceberg には多くのパッケージがありますが、maven ウェアハウスにはありませんが、iceberg はそれらを提供します. pom を介してコンパイルおよびパッケージ化した後、maven ウェアハウスにはこのパッケージがないため、エラーが報告されます.
解決策: これらのパッケージを、maven コマンドを使用してローカルの倉庫に入れます。

ケース 1. iceberg-flink-runtime-1.13-0.13.1.jar をローカル ウェアハウスにデプロイする

pom.xml

org.apache.iceberg
iceberg-flink-runtime
$アイスバーグ。\_\_\_\_\_fリンク.\_\_\_バージョン\_\_\_\_\_\_</バージョン\_\_\_\_\_\_><スコープ\_\_\_\_>$ {scope.type}

打包コマンド：
mvn install:install-file -Dfile=E:\icebergLib\flink1.13-iceberg0131\iceberg-flink-runtime-1.13-0.13.1.jar -DgroupId=org.apache.iceberg -DartifactId=iceberg-flink -runtime -Dversion=1.13-0.13.1 -Dpackaging=jar

ケース 2. flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar をローカル ウェアハウスにデプロイする

E:\icebergLib\flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar

打包コマンド：
mvn install:install-file -DgroupId=com.ververica -DartifactId=flink-cdc-connectors -Dversion=2.2-SNAPSHOT -Dpackaging=jar -Dfile=E:\icebergLib\flink-sql-connector-mysql-cdc -2.2-SNAPSHOT.jar

C:\Users\Administrator>  mvn install:install-file -DgroupId=com.ververica -DartifactId=flink-cdc-connectors -Dversion=2.2-SNAPSHOT -Dpackaging=jar -Dfile=E:\icebergLib\flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar
[INFO] Scanning for projects...
[INFO]
[INFO] ------------------< org.apache.maven:standalone-pom >-------------------
[INFO] Building Maven Stub Project (No POM) 1
[INFO] --------------------------------[ pom ]---------------------------------
[INFO]
[INFO] --- maven-install-plugin:2.4:install-file (default-cli) @ standalone-pom ---
[INFO] Installing E:\icebergLib\flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar to d:\repo\.m2\com\ververica\flink-cdc-connectors\2.2-SNAPSHOT\flink-cdc-connectors-2.2-SNAPSHOT.jar
[INFO] Installing C:\Users\Administrator\AppData\Local\Temp\mvninstall8018599831875350589.pom to d:\repo\.m2\com\ververica\flink-cdc-connectors\2.2-SNAPSHOT\flink-cdc-connectors-2.2-SNAPSHOT.pom
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  0.506 s
[INFO] Finished at: 2022-04-14T16:36:50+08:00
[INFO] ------------------------------------------------------------------------

C:\Users\Administrator>

地元の倉庫で梱包した後の結果:

---