Spark与PySpark交互流程 spark-submit相关参数、RDD特性特点 以及构建 RDD的算子函数

Spark相关内容

1.spark程序与pySpark交互流程

给你一个图
spark程序与pySpark交互流程

2.Spark-Submit相关参数

spark-submit 命令作用:

用于将spark程序提交指定的资源调度平台上进行运行, 
并且提交的过程中可以对资源,任务进行相关设置
'相关的参数:
	--master
	--deploy-mode
	--conf
'

submit相关参数
Driver资源参数:</

猜你喜欢

转载自blog.csdn.net/qq_59472803/article/details/120731516