第3篇:pyspark中启动jupyter notebook

环境:win10

这里介绍了在spark环境下如何通过shell来打开python和scala

目标:

由于我擅长python语言,jupyter notebook 是我比较熟悉的编辑器(由于其方便的单元测试,可以很好的进行结果展示)

所以,我想在pyspark环境下启动jupyter notebook!!!

确定好目标需求之后,来执行吧!

首先查阅网上是咋操作的,我尝试了一圈确定最简单且有效的方案如下

step1:首先检查在spark环境下是否可以通过shell打开python和scala,这一步是基础,确保你的安装没出问题!

扫描二维码关注公众号,回复: 9482174 查看本文章

step2:  需要配置环境变量---用户变量---新建

        直接在windows环境变量中增加两个pyspark启动时需要检查的变量即可将python解释环境转移到jupyter notebook

第一个用户变量是PYSPARK_DRIVER_PYTHON:jupyter

第二个用户变量是PYSPARK_DRIVER_PYTHON_OPTS:notebook

结果如下:

 step3:分两种情况

   (1)若已经配置了好了spark的环境变量(系统变量)

直接在终端输入: pyspark 

就可以进入pyspark下的jupyter notebook

结果如下:

   (2)若没有配置spark的环境变量

需要先进入spark的目录,然后输入:  bin\pyspark

结果如下:

 step4:开心吧,我们完成了啊,开始写代码吧!

补充一点:

        上述操作完成之后,我的计算机就只能进入jupyter notebook版本的操作,shell进不去了,除非我将环境变量--用户变量的2个新增删除!

         如果后续我能将2者共存之后,再给出解决方案!

猜你喜欢

转载自www.cnblogs.com/ivyharding/p/12382013.html