使用ドッカービルドスパーククラスタがドッカービルドHadoopクラスタを使用して(リアルタイムWebトラフィック分析モジュールを達成するために使用される)(疑似分散および完全分散)のウェブサイトのトラフィック解析システムログ

  ドッカービルドの前の使用完全分散型のHadoop:ドッカービルドHadoopクラスタ(疑似分散および完全分散)の使用ビルドスパーククラスタに、このレコード、プロジェクトが完了していない実装することの両方を使用する前に:Webログトラフィック解析システム(システムは現在オフライン解析モジュールを達成するために仮想マシンを使用している、リアルタイム分析を伴う資源問題に完了していない---プロジェクトのリアルタイム分析のためのスパーククラスタ)

まず、チャートによると、基本的な環境を構築します

  ①Scalaバージョン:2.13ダウンロード:https://www.scala-lang.org/download/

  ②Dockerバージョン:ドッカーバージョン19.03.5、ダウンロード:https://docs.docker.com/install/linux/docker-ce/centos/

  ③のZooKeeperクラスタ(バージョン:3.4.14)を構築、ダウンロード:http://mirror.bit.edu.cn/apache/zookeeper/を

  ④ビルドHadoopクラスタ(バージョン:2.7.7)、ダウンロード:https://archive.apache.org/dist/hadoop/common/

  ⑤インストール水路(バージョン:1.9.0)、ダウンロード:http://flume.apache.org/download.html

  ⑥ビルドカフカクラスター(バージョン:2.4.0)、ダウンロード:http://kafka.apache.org/downloads

  ⑦ビルドのHBaseクラスタ(バージョン:0.98.17)、ダウンロード:https://archive.apache.org/dist/hbase/

  ⑧ビルドスパーククラスター(バージョン:2.4.4)、ダウンロード:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7 .tgzファイル

 クラスタ環境スパークを構築するには、上記に基づいて、

おすすめ

転載: www.cnblogs.com/rmxd/p/12103447.html