在windows10下搭建Storm并运行WordCount详解（单机版）！

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xiaobing_122613/article/details/84526126

• 发布时间：2018-04-10 来源：网络 上传者：用户

• 关键字: 单机版 搭建 详解 WordCount windows10 运行 Storm

  发表文章
• 摘要：作为主流的大数据处理平台,不同于批处理的Hadoop,Storm的实时计算以及拓扑结构有其独有的优势(当然,只是针对于不同的情况下)。初学Storm,网上的教程大都是在Linux下搭建的平台,也有少许windows下搭建的,这里,结合本人亲自摸索以及对网上教程的参考给出Stepbystep教程。着重感谢fqf的指导和帮助,fqf的配置教程。Step1:准备四样必须安装的东西①jdk//jdk6②Python//Python27③zookeeper//zookeeper-3.4

• 作为主流的大数据处理平台,不同于批处理的Hadoop,Storm的实时计算以及拓扑结构有其独有的优势(当然,只是针对于不同的情况下)。初学Storm,网上的教程大都是在Linux下搭建的平台,也有少许windows下搭建的,这里,结合本人亲自摸索以及对网上教程的参考给出Step by step教程。着重感谢fqf的指导和帮助,fqf的配置教程。

  Step 1:准备四样必须安装的东西
  ①jdk //jdk 6
  ②Python //Python 27
  ③zookeeper //zookeeper-3.4.6
  ④storm //apache-storm-0.9.3
  这里jdk 、zookeeper、storm都不是最新版本,而且不能使最新版本,因为storm并没有发行针对于windows下的版本,apache-storm-0.9.3只是修改后的测试版,而且值得注意的是,不同jdk版本和zookeeper版本也有可能导致配置不成功,本人就在版本上卸载重装了很多次后才搭建成功,读者可自行尝试。以上四个版本是我搭建成功所用的版本。

  Step 2:配置环境变量
  ①jdk需要配置

  %JAVA_HOME% C:/Java/jdk1.6.0_43 Path:%JAVA_HOME%/bin /* *值得一提的是,java的默认安装环境在Program Files下,如果这么装则运行时会报错,%JAVA_HOME%不对,原因是这样%JAVA_HOME%路路径Program Files中含有空格, *我是在C盘根目录下创建JAVA的文件夹然后把jdk和jre都装在这个文件夹里 */

  ②Python的配置

  C:/Python27 C:/Python27/Lib/site-packages C:/Python27/Scripts

  ③zookeeper配置

  C:/Storm_Project/Zookeeper/zookeeper-3.4.6/binC:/Storm_Project/Zookeeper/zookeeper-3.4.6/conf我是在C盘根目录下创建了一个Storm_Project的文件夹,然后把zookeeper和Storm都装在这

  ④Storm配置

  %STORM_HOME% C:/Storm_Project/Storm/apache-storm-0.9.3 Path:%STORM_HOME%/bin

  ⑤PATHEXT配置

  最后加上 ;.PY

  

  

  

  

  

  

  Step 3:

  打开控制台(win+r cmd)①进入zookeeper的bin目录下找到zkSever双击打开(一定要先打开zkSever) ②进入控制台(win + r cmd) cd %STORM_HOME% storm nimbus storm supervisor storm ui //这三个命令每输入一个都会看到zkSever控制台上的信息会改变还可以输入jps查询 ③打开浏览器输入 http://localhost:8080/ 弹出ui界面且没有报错则配置成功

  

  

  

  Step 4:

  测试WordCount ①下载storm-start源码:https://github.com/nathanmarz/storm-starter ②进入storm-start解压目录运行命令打包:mvn -f m2-pom.xml package (可以直接找我要解压好的包qq:915606624) ③先cd bin/再运行:storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology test 生成一个topology ④控制台输入 storm list 查看topology列表

  

  

  这个时候刷新UI界面就可以看到topology了,执行完毕后,必须在UI界面上点击topology test打开并在topology action里手动kill这个topology否则你重启都不会结束(亲测)。

  小结:在windows配置storm比在linux下配置要恶心得多,配置一下只是为了熟悉storm,得助于网上众多教程以及fqf的指导,才得以配置成功,现在只想分享一下自己的经验,不足之处还望读者见谅并给出指导意见。在配置环境变量的时候不小心误删了path,恢复无果只能重装系统,在此提醒大家配置环境变量最好先备份。初学Storm如果有对大数据云计算这方面有研究的,欢迎交流。

• 以上是在windows10下搭建Storm并运行WordCount详解（单机版）！的内容，更多 单机版 搭建 详解 WordCount windows10 运行 Storm 的内容，请您使用右上方搜索功能获取相关信息。