記事ディレクトリ
1.Javaをインストールする
Storm は Java プラットフォームで実行されるため、最初に Java をインストールする必要があります。次のコマンドを使用して OpenJDK 8 をインストールできます。
sudo yum install java-1.8.0-openjdk
2.Stormをダウンロードして解凍します。
Storm は、Storm の公式 Web サイトからダウンロードできます。このチュートリアルでは、Storm のバージョン 2.2.0 を使用します。次のコマンドを使用して Storm をダウンロードできます。
wget https://archive.apache.org/dist/storm/apache-storm-2.2.0/apache-storm-2.2.0.tar.gz
ダウンロードが完了したら、次のコマンドを使用して Storm を解凍できます。
tar -xvf apache-storm-2.2.0.tar.gz
/usr/local解凍が完了したら、Storm を次のディレクトリに移動できます。
sudo mv apache-storm-2.2.0 /usr/local/
3. 環境変数を構成する
Storm を便利に使用するには、いくつかの環境変数を設定する必要があります。/etc/profileまず、ファイルを開く必要があります。
sudo nano /etc/profile
ファイルの末尾に以下を追加します。
export STORM_HOME=/usr/local/apache-storm-2.2.0
export PATH=$PATH:$STORM_HOME/bin
保存後、次のコマンドを使用して環境変数を有効にします。
source /etc/profile
4. ZooKeeper を構成する
Storm では、クラスター内のノードを調整するために ZooKeeper が必要です。次のコマンドを使用して ZooKeeper をインストールできます。
sudo yum install zookeeper
インストールが完了したら、ZooKeeper サービスを開始する必要があります。
sudo systemctl start zookeeper
システム起動時に ZooKeeper サービスが自動的に開始されるようにするには、次のコマンドを使用して ZooKeeper サービスをシステム サービスに追加します。
sudo systemctl enable zookeeper
5. ストームの構成
$STORM_HOME/confStorm の設定ファイルはディレクトリにあります。次のコマンドを使用してこのディレクトリに入ることができます。
cd $STORM_HOME/conf
このディレクトリには、構成する必要がある 3 つのファイルがあります。
嵐.yaml
このファイルは Storm のメイン構成ファイルであり、次のコマンドで作成できます。
sudo cp storm.yaml.example storm.yaml
次に、次のコマンドでファイルを開きます。
sudo nano storm.yaml
以下をファイルに追加します。
storm.zookeeper.servers:
- "localhost"
nimbus.seeds: ["localhost"]
storm.local.hostname: "localhost"
カスタマイズstorm.yaml
基本的には上記の設定だけでOKですが、いくつかのパラメータをカスタマイズしたい場合は以下を参照してください。
# 配置 ZooKeeper 服务器地址
storm.zookeeper.servers:
- "localhost"
# 指定 Storm 集群所使用的本地目录
storm.local.dir: "/mnt/storm"
# 指定 Nimbus 的种子节点地址
nimbus.seeds: ["localhost"]
# 指定 Storm 使用的 Thrift 传输插件
storm.thrift.transport: "org.apache.storm.security.auth.SimpleTransportPlugin"
# 指定 Storm 使用的消息传输插件
storm.messaging.transport: "org.apache.storm.messaging.netty.Context"
# 指定 Storm 消息服务器使用的工作线程数
storm.messaging.netty.server_worker_threads: 1
# 指定 Storm 消息客户端使用的工作线程数
storm.messaging.netty.client_worker_threads: 1
# 指定 Storm 消息缓冲区的大小
storm.messaging.netty.buffer_size: 1024
# 指定 Storm 消息传输失败时的最大重试次数
storm.messaging.netty.max_retries: 10
# 指定 Storm 消息传输重试时的最大等待时间
storm.messaging.netty.max_wait_ms: 1000
# 指定 Storm 消息传输重试时的最小等待时间
storm.messaging.netty.min_wait_ms: 100
嵐環境.sh
このファイルは Storm の環境変数構成ファイルであり、次のコマンドで作成できます。
sudo cp storm-env.sh.example storm-env.sh
次に、次のコマンドでファイルを開きます。
sudo nano storm-env.sh
以下をファイルに追加します。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
上記の構成では、Java インストール パスが に設定されます/usr/lib/jvm/java-1.8.0-openjdk。
ログバック/cluster.xml
このファイルは Storm のログ構成ファイルであり、次のコマンドで開くことができます。
sudo nano logback/cluster.xml
以下を見つけてください。
<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>${storm.log.dir}/nimbus.log</file>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${storm.log.dir}/nimbus.log.%d{yyyy-MM-dd-HH}</fileNamePattern>
<maxHistory>30</maxHistory>
</rollingPolicy>
<encoder>
<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger{36} - %msg%n</pattern>
</encoder>
</appender>
Storm のログがファイルに記録されるように、を に${storm.log.dir}置き換えます。/var/log/storm/var/log/storm/nimbus.log
6. Stormクラスターを起動します。
上記の構成が完了したら、次のコマンドを使用して Storm クラスターを開始できます。
Nimbus、Supervisor、UI の 3 つのプロセスを開始します。&記号はプロセスをバックグラウンドに置くことを意味します。
storm nimbus &
storm supervisor &
storm ui &
7. 検証
Storm 環境は CentOS 7 に正常にインストールおよび構成され、Storm クラスターが起動しました。http://localhost:8080/ にアクセスして Storm UI を表示できます。
