版权声明：本文为博主原创文章，未经博主允许不得转载。对于文中涉及到的参考文章，感谢作者分享，侵删。 https://blog.csdn.net/Kohang/article/details/78394885
0.预先准备
安装 Spark的库
// 188多Mb的文件
pip install pyspark1. 初始化SparkContext
from pyspark import SparkConf, SparkContext
# 先创建一个 SparkConf 对象来配置你的应用
conf = SparkConf().setMaster("local").setAppName("My App")
# 然后基于这个SparkConf 创建一个 SparkContext 对象
sc = SparkContext(conf = conf) 示例创建 SparkContext 的最基本的方法，你只需传递两个参数:
- 集群 URL：告诉 Spark 如何连接到集群上。在这几个例子中我们使用的是 local，这个特殊值可以让 Spark 运行在单机单线程上而无需连接到集群。
- 应用名：在例子中我们使用的是 My App。当连接到一个集群时，这个值可以帮助你在集群管理器的用户界面中找到你的应用。
初始化 SparkContext 之后，可以使用所有方法（比如利用文本文件）来创建 RDD 并操控它们。
from pyspark import SparkConf, SparkContext
# 先创建一个 SparkConf 对象来配置你的应用
conf = SparkConf().setMaster("local").setAppName("My App")
# 然后基于这个SparkConf 创建一个 SparkContext 对象
sc = SparkContext(conf = conf)
# 开始使用RDD的方法
myFile = sc.textFile("README.md")
# 转化操作
myFileLines = myFile.filter(lambda line: "Python" in line)
# 持久化
myFileLines.persist
<bound method PipelinedRDD.persist of PythonRDD[3] at RDD at PythonRDD.scala:48>
# 行动操作
myFileLines.count()
3
# 关闭Spark
sc.stop()最后，关闭 Spark 可以调用 SparkContext 的 stop() 方法，或者直接退出应用（比如通过System.exit(0) 或者 sys.exit()）。
2. 创建RDD
// 时间问题, 留坑再填.