Ubuntu下本地模式的Storm环境搭建

一、Storm相关介绍  

    Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。虽然Storm是无状态的,它通过Apache ZooKeeper管理分布式环境和集群状态。它很简单,您可以并行地对实时数据执行各种操作。

    Apache Storm继续成为实时数据分析的领导者。Storm易于设置和操作,并且它保证每个消息将通过拓扑至少处理一次。

    本次安装列表:jdk+zookeeper+storm+maven+IDEA

二、安装

1 安装jdk

将下载的java压缩包解压到/usr/local目录下:

sudo tar -zxvf jdk-8u161-linux-x64.gz -C /usr/local
sudo chown -R storm:storm /usr/local/jdk1.8.0_161   #改变文件夹所有者

设置环境变量:

vim ~/.bashrc

在末尾添加:

export JAVA_HOME=/usr/local/jdk1.8.0_161
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

保存并生效:

source ~/.bashrc

验证:

java -version

2 安装zookeeper

下载zookeeper

(cdh5版链接:http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.12.0.tar.gz

apache版链接:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz

将下载的zookeeper压缩包解压到/usr/local目录下:

sudo tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local
sudo mv /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper  #重命名文件夹
sudo chown -R storm:storm /usr/local/zookeeper   #改变文件夹所有者

设置环境变量:

vim ~/.bashrc 

在末尾添加:

export ZK_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZK_HOME/bin

保存并生效:

source ~/.bashrc

修改配置文件

cd /usr/local/zookeeper/conf/   #zookeeper的配置文件目录
cp zoo_sample.cfg zoo.cfg       #拷贝zoo_sample.cfg文件,重命名为zoo.cfg
vim zoo.cfg

若zookeeper为本地模式,则只需要修改dataDir参数的值即可(默认为/tmp/zookeeper)

验证:

3 安装storm

在apache下载storm(链接:https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz

将下载的storm压缩包解压到/usr/local目录下:

sudo tar -zxvf apache-storm-1.2.1.tar.gz -C /usr/local
sudo mv /usr/local/apache-storm-1.2.1/ /usr/local/storm  #重命名文件夹
sudo chown -R storm:storm /usr/local/storm   #改变文件夹所有者

设置环境变量:

vim ~/.bashrc

在末尾添加:

export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

保存并生效:

source ~/.bashrc

修改配置文件

cd /usr/local/storm/conf
vim storm-env.sh

指定自己的jdk的home目录,如果已经在环境变量里面设置好了JAVA_HOME,也可以省略这部

4 安装maven(也能用IDEA自带的maven)

下载maven(链接:http://www-us.apache.org/dist/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz

将下载的maven压缩包解压到/usr/local目录下:

sudo tar -zxvf apache-maven-3.5.2-bin.tar.gz -C /usr/local
sudo mv /usr/local/apache-maven-3.5.2-bin.tar.gz/ /usr/local/maven #重命名文件夹
sudo chown -R storm:storm /usr/local/maven   #改变文件夹所有者

更改配置文件

gedit /usr/local/maven/conf/settings.xml

修改本地仓库目录(可选)

若从国外的源下载较慢,可以选择添加阿里的源

设置环境变量:

vim ~/.bashrc

在末尾添加:

export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$MAVEN_HOME/bin

保存并生效:

source ~/.bashrc

验证

mvn -v

5 安装IDEA

下载IDEA旗舰版(链接:https://download.jetbrains.8686c.com/idea/ideaIU-2017.3.4.tar.gz

将下载的maven压缩包解压到/usr/local目录下:

sudo tar -zxvf ideaIU-2017.3.4.tar -C /usr/local
sudo mv /usr/local/ideaIU-2017.3.4.tar/ /usr/local/idea #重命名文件夹
sudo chown -R storm:storm /usr/local/idea #改变文件夹所有者

启动idea

cd /usr/local/idea/bin
./idea.sh

过程中会提示我们创建桌面快捷方式

6 创建storm项目

新建maven项目

选择自己安装的maven及配置文件(这时会自动选择配置文件里指定的仓库目录)

一直下一步,完成

在pom.xml里添加storm依赖

<!-- https://mvnrepository.com/artifact/org.apache.storm/storm-core -->
<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-core</artifactId>
    <version>1.2.1</version>
</dependency>

最终如下所示

注:在 local mode(本地模式),即用LocalCluster提交的代码可以在使用maven添加需要的jar包后就可以直接运行,因为它是用一个进程来模拟一个storm集群的,所以也不需要安装配置任何storm的环境。

猜你喜欢

转载自my.oschina.net/zctzl/blog/1631603