python语法-pyspark实战(基础知识)

python语法-pyspark实战(基础知识)

在这里插入图片描述
演示获取pyspark的执行环境入库对象:SparkContext

"""
演示获取pyspark的执行环境入库对象:SparkContext
并通过SparkContext对象获取当前的pyspark的版本
"""

# 导包
from pyspark import SparkConf, SparkContext

# 创建sparkconf类对象
# conf = SparkConf()
# conf.setMaster("local[*]")
# conf.setAppName("test_name")
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")

# 基于sparkconf类对象创建sparkcontext对象
sc = SparkContext(conf=conf)

# 打印pyspark版本
print(sc.version)

# 停止sparkcontext对象的运行(停止pyspark程序)
sc.stop()

第一次执行遇到的问题:搭建PySpark执行环境入口时出现RuntimeError: Java gateway process exited before sending its port number
原因:未安装java的jdk程序
解决方法:去官网下载jdk,安装配置好重启pycharm,解决后程序结果如下
在这里插入图片描述

参考内容:
Python搭建PySpark执行环境入口时出现RuntimeError: Java gateway process exited before sending its port number解决办法
黑马程序员-python基础

猜你喜欢

转载自blog.csdn.net/qq_45833373/article/details/131254493