MongoDB on Spark的参数优化
mongodb on spark的参数：
mongodb on spark的参数基本分为输入参数和输出参数。
1. mongodb on spark输入的参数：
-
spark.mongodb.input.uri：mongo的uri，
如：mongodb://host:port/
或者直接指定数据库和集合：mongodb://host:port/database.collection，相当于使用了uri，database，collection参数
-
spark.mongodb.input.database：mongo的数据库指定
-
spark.mongodb.input.collection：mongo的集合
-
spark.mongodb.input.partitioner：用于对数据进行分区的分区程序的类名
默认使用：MongoDefaultPartitioner，其他值有：
-
MongoSamplePartitioner：使用集合的平均文档大小和随机抽样来确定集合的合适分区。
-
MongoShardedPartitioner：根据数据块对集合进行分区。需要对config数据库的读访问权限。
-
MongoSplitVectorPartitioner：使用splitVector独立命令或主数据库上的命令来确定数据库的分区。需要特权才能运行splitVector命令
-
MongoPaginateByCountPartitioner：创建特定数量的分区。需要查询每个分区。
-
MongoPaginateBySizePartitioner：根据数据大小创建分区。需要查询每个分区。
每个Partitioner类都有option参数，具体参阅文档
-
2. mongodb on spark输出的参数
-
spark.mongodb.output.uri：和输入参数一样
-
spark.mongodb.output.database：和输入参数一样
-
spark.mongodb.output.collection：和输入参数一样
-
spark.mongodb.output.replaceDocument：保存包含_id字段的数据集时替换整个文档。如果为false，它将仅更新文档中与数据集中的字段匹配的字段。默认true。
-
maxBatchSize：保存数据时批量操作的最大批量大小。默认512M。
3. mongodb on spark的参数添加
mongodb on spark的参数添加有2种方式，可以通过spark的conf添加，也可以通过option添加参数的方式进行添加。
3.1 通过config的方式进行添加
val spark = SparkSession.builder()
.master("local")
.appName("MongoSparkConnectorIntro")
.config("spark.mongodb.input.uri", "mongodb://127.0.0.1/test.myCollection")
.config("spark.mongodb.output.uri", "mongodb://127.0.0.1/test.myCollection")
.getOrCreate()
这里也可以通过config添加其他参数。
3.2 通过option的方式进行添加
# 输入参数添加
spark.read.format("com.mongodb.spark.sql.DefaultSource") \
.option("spark.mongodb.input.partitioner", "MongoPaginateByCountPartitioner") \
.option("spark.mongodb.input.partitionerOptions.partitionKey", 'service_time') \
.option("spark.mongodb.input.partitionerOptions.numberOfPartitions", "10") \
.schema(collect_schema) \
.load()
# 输出参数添加
df.write.format('com.mongodb.spark.sql.DefaultSource')
.option("spark.mongodb.output.uri", "mongodb://127.0.0.1/test.myCollection") \
.mode("append")\
.save()
参考文档：
MongoDB on Spark的参数优化