(ビッグデータ)の下で、電子ビジネスプラットフォームログ分析システム

##は、ETLのリンクを行ってきましたので、

 

操作ETL:HBaseのデータに洗浄した後

zkServer.shスタート; start-dfs.sh; 

[ルート@ node1は〜]#./shells/start-yarn-ha.sh 
start-yarn.sh 
SSHノード3ルート@「は$ HADOOP_HOMEですがこのResourceManager /sbin/yarn-daemon.shスタート" 
$ HADOOP_HOME / sbinにSSHルートをノード4 @" /のResourceManager "スタートyarn-daemon.sh 

start-hbase.shを

---------------- ---テーブルのHBaseを作成します
シェルHBaseの

(メイン)のHBase:001:0>「のEventLog」を作成し、「ログイン」

プログラムを実行するために##の後、および、スキャンデータテーブルは、データETLを有する表示。

  

------------------------------运行项目BIG_DATA_SXT_1修改如下配置パブリッククラスAnalyserLogDataRunnerはツール{プライベート静的最終ロガーロガー=ロガーを実装しています。 getLogger(AnalyserLogDataRunner.class)。プライベートコンフィギュレーションのconf = NULL; 公共の静的な無効メイン(文字列[] args){{ToolRunner.run(新しいConfiguration()、新AnalyserLogDataRunner()、引数)をしてみてください。}キャッチ(例外e){logger.error( "执行日志解析ジョブ异常"、E)。新しいのRuntimeException(e)を投げます。}} @Override公共ボイドsetConf(構成CONF){conf.set( "fs.defaultFS"、 "HDFS://ノード1:8020")。// conf.set( "yarn.resourcemanager.hostname"、 "ノード3"); conf.set( "hbase.zookeeper.quorum"、 "ノード2、ノード3、ノード4"); this.conf = HBaseConfiguration.create(CONF)。}} .......

 

 

 

 

-------------次のセクション:
データは、上記の要件を満たすことができない、(IPの日付と少なすぎる)
クラスのデータを生成するために必要。/BIG_DATA_SXT_1/test/com/sxt/test/TestDataMaker.java

  

おすすめ

転載: www.cnblogs.com/xhzd/p/11441912.html