クーズーのから公式ドキュメントあなたが見ることができますどのように統合さクーズーの火花。私たちは、あなたが直接スパークSQLによってクーズーテーブルを作成することはできません、ドキュメントのデモから見るだけNOSQL API呼び出しを実現することができるテーブルをクーズー作成することができます。スパーク後にSQLクエリクーズーの表は、SQL文のクエリを使用するために登録するための一時的なテーブルです。
関連のクーズーテーブルを作成するために、スパーク、SQLに直接DDL文を作成して提出する方法はありますか？
答えは次のとおりです。OPTIONS構文スパークSQL実装を使用することにより、構文がスパークSQLテーブルの外部データソースを作成するために使用されてはい、私たちは、構文を介してデータソーステーブルクーズーを作成することができます。
スパークSQLでspark_kudu_test、その後、我々はリンクテーブルを作成するために行かなければならない、我々はAPIによってクーズーテーブルkudu_testを作成したとします。このように、我々は、スパークSQLを介しクーズーデータを操作することができるようになります。手順は次のとおりです。
- ジャーパッケージクーズー-spark2_2.11-1.10.0.jarこのコピーは/ optディレクトリに移動します。ジャーパッケージには行くことができリポジトリMavenのダウンロードを
- スパークへのコマンドラインSQL ./spark-sql --jars /opt/kudu-spark2_2.11-1.10.0.jar
- table文の工事の実施
CREATE TABLE spark_kudu_test(id1 int, id2 int, id3 string) USING org.apache.kudu.spark.kudu OPTIONS("kudu.master" "node1:7051,node2:7051,node3:7051","kudu.table" "kudu_test");
- このように、関連テーブルクーズーテーブルが出て確立されています。
