当Spark遇上Zeppelin

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zwgdft/article/details/86417429

  本文将会发表在GitChat上面,主要探讨Spark with Zeppelin。Zeppelin是一个基于Web的交互式数据分析工具,里面有很多解释器,透过这些解释器便可以利用相应的引擎完成数据计算与分析,Spark便是其中一种。实际工作中,通常会在两种情况下使用Spark with Zeppelin。

  • 需要对一批数据做探索性分析,所谓探索性即尚且没有明确的思路,需要不断的尝试,这时你无法形成完整方案写到代码文件、打包、正式部署等,Zeppelin便是最好的工具。
  • 临时有个任务需要验证一下,特别针对研发人员,你为这个任务写个正式代码文件、打包、部署显然过于繁琐,并且很多线上环境是不允许随便传代码的,而利用Zeppelin恰好可以快速处理这些临时任务。

猜你喜欢

转载自blog.csdn.net/zwgdft/article/details/86417429