Storm启动配置

一、安装Storm
    wget   http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.0.3/apache-storm-1.0.3.tar.gz
    tar xzvf  ./apache-storm-1.0.3.tar.gz

二、新建data文件夹 mkdir data;查看目录:pwd
      为strom配置本地目录作准备。
      storm.local.dir: “/opt/ apache-storm-1.0.3 /data“【storm本地目录】

三、配置根目录conf/storm.yaml配置文件

注意配置字母前/冒号后,以空格开头:

最终配置如下:
引用

storm.zookeeper.servers:
- "master"
- "slave"

drpc.servers:
- "master"

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
- 6704
- 6705
- 6706
- 6707

ui.port: 8081

storm.local.dir: “/opt/apache-storm-1.0.3/data"



3.1 配置zk服务器
master\slave与计算机的hostname对应。主机名的配置文件大多是/etc/hosts。
引用

例如:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1   localhost.localdomain localhost
192.168.1.195  debian.localdomain debian
一般情况下hosts的内容关于主机名(Hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
第一部份:网络IP地址。
第二部份:主机名.域名,注意主机名和域名之间有个半角的点。
第三部份:主机名(主机名别名) ,其实就是主机名。
当然每行也可以是两部份,就是主机IP地址和主机名;比如 192.168.1.195 master

引用

打开: storm.zookeeper.servers:
     - "master“
     - “slave“
打开: drpc.servers:
     - "master“


3.2  配置slot端口号
   supervisor.slots.ports:【slot端口号】提交top,每一个top有两个worker来工作,一个sport,一个blot,每个worker都会占用一个端口
 supervisor.slots.ports:
 - 6700
 - 6701
 - 6702
 - 6703
 - 6704
 - 6705
 - 6706
 - 6707


3.3 配置stormUI端口号
ui.port: 8081


3.4 配置storm本地目录
  创建目录:根目录apache-storm-1.0.3下data文件夹
    mkdir data;
    pwd查看目录路径
  增加配置文件目录路径:storm.local.dir: “/opt/apache-storm-1.0.3/data"

四、启动测试
Storm是一个快速失败(fail-fast)的系统,这意味着这些进程随时都可能因发生错误而停止。由于Storm的设计,所以它随时停止都是安全的,当进程重新启动时正确的恢复。这是为什么Storm保持进程无状态的原因-- 如果Nimbus或supervisors重新启动,正在运行的topologies是不受影响的。

1、先将配置好的storm,向各子节点各传一份。各子节点安装好storm所需插件。

2、配置好zookeeper中myid,启动zookeeper。

3、启动storm节点及UI,可用nohup挂到后台执行。“&”是后台的执行符,未有则命令行卡住不向下执行。
1)启动Nimbus
   在master机器下运行命令”bin/storm nimbus &”,检验配置是否错误。
2)启动Supervisor
   在每个worker机器下运行命令”bin/storm supervisor &”。Supervisor守护程序负责starting 和 stopping 那台机上的worker进程
3)启动UI
  运行master机器下的命令”bin/storm ui &”来运行Storm UI(你能从浏览器访问一个站点,它提供集群和topologies的诊断信息)。在你的浏览器中输入” http://{nimbus host}:8081”访问UI。
3)启动logviewer
  运行master机器下的命令”bin/storm logviewer &”查看工作日志。







猜你喜欢

转载自javafu.iteye.com/blog/2366523