[オリジナル]おじさん経験の共有無効(84)スパークSQLのSET hive.exec.max.dynamic.partitions

スパーク2.4

 

スパークSQLが実行さ

hive.exec.max.dynamic.partitions = 10000を設定します。

そして、まだ、SQLエラーを実行します:

org.apache.hadoop.hive.ql.metadata.HiveException:
作成した動的なパーティションの数がある 1001年、ある 1000以上
これを解決するためにしてみてくださいハイブを設定します。execを少なくとも1001に.max.dynamic.partitions。

このパラメータのデフォルト値はhive.exec.max.dynamic.partitions千、何の変更を有効にしないことです、

 

次の理由の場合:

`HiveClient`は` SET`コマンドで `HiveCilent`の` hive.exec.max.dynamic.partitions`のデフォルト値を変更する方法はありません新しい値1001を知りません。

根本的な原因は、 `hive`パラメータを作成するにHiveClient``に渡されるということです。だから、この問題を回避するには、火花shell` `起動時に` --hiveconf`を使用することです。

 

この問題を回避するには、起動時の火花-SQLでhiveconf設定することです

スパーク-SQL --hiveconf hive.exec.max.dynamic.partitions = 10000

 

参考:

https://issues.apache.org/jira/browse/SPARK-19881

おすすめ

転載: www.cnblogs.com/barneywill/p/11618898.html