ubuntu 12.04LTS下安装Storm 0.9

转载请标明出处: http://blackwing.iteye.com/admin/blogs/1995026

Storm已经在2013年9月放到apache,作为孵化项目,但他的apache主页居然404,真莫名。

Storm的资料如下:
1.安装集群教程
https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster

2.官方的另一个主页
http://storm-project.net/


主要步骤为:
1. 按照zookeeper集群
2. 安装依赖软件
其中主要是安装ZeroMQ和jzmq,官方安装教程:
https://github.com/nathanmarz/storm/wiki/Installing-native-dependencies


需要补充的是安装过程中可能出现的问题:
安装ZeroMQ时:
1. Unable to find a working C++ compiler
系统没有安装g++
sudo apt-get install g++


安装jzmq时(主要参考这篇文章: http://blog.csdn.net/liuj2511981/article/details/17115261):
1. make[1]: *** 没有规则可以创建“org/zeromq/ZMQ.class”需要的目标“classdist_noinst.stamp”
解决办法,新建一个文件:
touch src/classdist_noinst.stamp


2. 无法访问 org.zeromq.ZMQ   |   make[1]: *** 没有规则可以创建“all”需要的目标“org/zeromq/ZMQ$Context.class”
解决办法:
javac  ./src/org/zeromq/*.java


最后,配置storm。
配置文件在storm/conf/storm.yaml
storm.zookeeper.servers:
     - "namenode"
     - "datanode"

storm.local.dir: "/usr/local/cluster/storm-data"

nimbus.host: "namenode"

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
ui.port: 8090


需要注意的是,由于jetty已经占用默认的8080端口,所以需要更改storm默认8080端口为8090,而ui.port是Number类型,之前填写“8090”则报错。

配置好之后,分别在配置nimbus.host的master机器上启动nimbus和ui:
./bin/storm nimbus >/dev/null 2>/dev/null &
./bin/storm supervisor >/dev/null 2>/dev/null &
./bin/storm ui >/dev/null 2>/dev/null &


在其他slave机器启动supervisor进程:
./bin/storm supervisor >/dev/null 2>/dev/null &


之后,就能在http://namnode:8090看到storm的web界面了,跟hadoop的jobtracker界面一样的用意。



猜你喜欢

转载自blackwing.iteye.com/blog/1995026
今日推荐