スパーク2.4
スパークSQLが実行さ
hive.exec.max.dynamic.partitions = 10000を設定します。
そして、まだ、SQLエラーを実行します:
org.apache.hadoop.hive.ql.metadata.HiveException: 作成した動的なパーティションの数がある 1001年、ある 1000以上。 これを解決するためにしてみてくださいハイブを設定します。execを少なくとも1001に.max.dynamic.partitions。
このパラメータのデフォルト値はhive.exec.max.dynamic.partitions千、何の変更を有効にしないことです、
次の理由の場合:
`HiveClient`は` SET`コマンドで `HiveCilent`の` hive.exec.max.dynamic.partitions`のデフォルト値を変更する方法はありません新しい値1001を知りません。
根本的な原因は、 `hive`パラメータを作成するにHiveClient``に渡されるということです。だから、この問題を回避するには、火花shell` `起動時に` --hiveconf`を使用することです。
この問題を回避するには、起動時の火花-SQLでhiveconf設定することです
スパーク-SQL --hiveconf hive.exec.max.dynamic.partitions = 10000
参考:
https://issues.apache.org/jira/browse/SPARK-19881