SVMJ:
私は、Javaスパークに新しいです。
私は現在、そのフィールドが異なるデータ型を持つ引き起こす可能性があり、ハイブにMongoDBをETLに問題があるのです。私のセットアップが正しくsamplesizeを増やすのであれば、私はサンプルサイズを大きくしたいが、私は、Javaを使用していながら、私は唯一のスカラ座の例を参照することを、誰もが知っていますか?
SparkSession spark = SparkSession.builder()
.master("local[2]")
.appName("SparkReadMgToHive")
.config("spark.sql.warehouse.dir", warehouseLocation)
.config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
.config("sampleSize", 50000)
.enableHiveSupport()
.getOrCreate();
どうもありがとう
クーパー:
それはです spark.mongodb.input.sampleSize
SparkSession spark = SparkSession.builder()
.master("local[2]")
.appName("SparkReadMgToHive")
.config("spark.sql.warehouse.dir", warehouseLocation)
.config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
.config("spark.mongodb.input.sampleSize", 50000)
.enableHiveSupport()
.getOrCreate();