pyspark : NameError: name 'spark' is not defined

如题所示的报错,这是因为在Python 程序中没有默认的 pyspark.sql.session.SparkSession,因此我们只需导入相关模块,再将其转换为 SparkSession
相关代码:

from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)
print(type(spark))

将其类型打印出来,成功解决:
<class 'pyspark.sql.session.SparkSession'>

猜你喜欢

转载自blog.csdn.net/ZT7524/article/details/98173650