storm本地开发环境搭建

Windows环境下搭建storm本地开发环境

所需软件zookeeper,storm,eclipse

 
 在windows上搭建开发调试环境，因为storm依赖zookeeper，所以在windows上也需要运行zookeeper，单机的就好。 

 
 第一步：安装zookeeper 

 
 下载压缩包zookeeper-3.5.3-beta.tar.gz 

 
 解压到比如D:\ProgramFiles\BigData目录下面 

 
 修改zookeeper/conf下面的zoo_sample.cfg为zoo.cfg 

 
 配置zoo.cfg 

tickTime=2000
initLimit=10
syncLimit=5
dataDir=D:\\ProgramFiles\\BigData\\zookeeper-3.5.3-beta\\tmp
dataLogDir=D:\\ProgramFiles\\BigData\\zookeeper-3.5.3-beta\\log
clientPort=2181

 
 其中dataDir使用来存放临时数据的。 

 
 还需要在dataDir目录下面创建一个myid文件（就是txt文件，去掉后缀名） 

 
 myid文件内容就一个数字表示这个zookeeper的id，由于本地并且单节点，就随便填个数字1 

 
 然后就可以在cmd 切换到/bin下面执行zkServer.cmd 

 
 到此zookeeper启动成功，如果遇到报什么错，仔细阅读报的什么错，有可能是配置文件不对，会报一些格式转换的异常 

 
 第二步：安装storm 

 
 下载压缩包apache-storm-1.1.1.tar.gz 

 
 解压到D:\\apache-storm-1.1.1 

 
 设置环境变量 

 
 STORM_HOME：D:\\apache-storm-1.1.1 

 
 配置 

 
 修改STORM_HOME/conf目录中的storm.yaml 

#设置zookeeper运行主机位置，me是我主机的ip的别名，需要修改hosts
storm.zookeeper.servers:
     - "me"

#设置zookeeper的端口默认2181
storm.zookeeper.port:
       - "2181"
#storm运行的主机，这里写本地ip
nimbus.seeds: ["me"]

#本地数据目录，建议先创建好这个目录，默认会自动创建
storm.local.dir: "D:\\大数据\\storm\\apache-storm-1.1.1\\data"

#supervisor使用的端口，一个worker会占用一个端口，这里单个主机设置4个
#端口，那么最多能启动4个worker
supervisor.slots.ports:
            - 6700
            - 6701
            - 6702
            - 6703
#健康检查目录，建议确保下该目录存在
storm.health.check.dir: "D:\\apache-storm-1.1.1\\logs\\healthcheck"
storm.health.check.timeout.ms: 5000

配置文件中使用me是主机别名，在C:\Windows\System32\drivers\etc\HOSTS中添加比如这样的配置

 
 192.168.1.100 me 

 
 配置storm-env.sh 

export JAVA_HOME="D:\\ProgramFiles\\Java\\jdk1.8.0_40"
export STORM_CONF_DIR="D:\apache-storm-1.1.1\conf"

然后就可以在eclipse里面写代码在本地运行并调试了，记住先开启zookeeper

 
 然后就可以使用类似这样的语句提交到本地执行了。 

LocalCluster cluster = new LocalCluster();
cluster.submitTopology("topology-name", conf, builder.buildTopology());
Thread.sleep(200000);
cluster.shutdown();

storm本地开发环境搭建

猜你喜欢