Javaのスパークsparksessionのsamplesizeを設定への方法

SVMJ:

私は、Javaスパークに新しいです。

私は現在、そのフィールドが異なるデータ型を持つ引き起こす可能性があり、ハイブにMongoDBをETLに問題があるのです。私のセットアップが正しくsamplesizeを増やすのであれば、私はサンプルサイズを大きくしたいが、私は、Javaを使用していながら、私は唯一のスカラ座の例を参照することを、誰もが知っていますか?

SparkSession spark = SparkSession.builder()
                .master("local[2]")
                .appName("SparkReadMgToHive")
                .config("spark.sql.warehouse.dir", warehouseLocation)
                .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
                .config("sampleSize", 50000)
                .enableHiveSupport()
                .getOrCreate();

どうもありがとう

クーパー:

それはです spark.mongodb.input.sampleSize

SparkSession spark = SparkSession.builder()
                .master("local[2]")
                .appName("SparkReadMgToHive")
                .config("spark.sql.warehouse.dir", warehouseLocation)
                .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.testcollection")
                .config("spark.mongodb.input.sampleSize", 50000)
                .enableHiveSupport()
                .getOrCreate();

おすすめ

転載: http://10.200.1.11:23101/article/api/json?id=397167&siteId=1