リアルタイムのデータ収集システム-Flume準備のニュース分析

水路を同時に提供することと、水路Clouderaのデータを収集するためのカスタマイズされたデータフリューム送信者ログシステムの様々なタイプをサポートするために、高可用性、信頼性の高い、分散大規模なログ収集、凝集および伝送システムに設けられています単純なデータ処理、及びデータ受信者の様々な書き込みする能力(カスタマイズ)です。

1.flumeノード設計サービス

 

2.ダウンロードして水路をインストール

1)ダウンロードApacheの水路のバージョンを。

2)ダウンロードClouderaのの水路のバージョンを。

3)のApacheのapache-水路-1.7.0-bin.tar.gzのバージョンをダウンロードするには、ここで選択し、[bigdata-pro01.kfk.comノードの/ opt /ソフトウェア/ディレクトリにアップロード

4)水路を抽出

タール-zxfのapache-水路-1.7.0-bin.tar.gz -Cは/ opt /モジュール/

5)水路は、他の2つのノードに分配します

SCP -r水路-1.7.0-binのbigdata-pro02.kfk.com:/opt/modules/

SCP -r水路-1.7.0-binのbigdata-pro03.kfk.com:/opt/modules/

3.flumeエージェント-1収集ノード構成サービス

 

1)bigdata-pro02.kfk.comノード構成フリューム、ノードに収集されたデータbigdata-pro01.kfk.com

我々flume-conf.properties

agent2.sources = R1

agent2.channels = C1

agent2.sinks = K1

 

agent2.sources.r1.type =幹部

agent2.sources.r1.command =尾-F /opt/datas/weblogs.log

agent2.sources.r1.channels = C1

 

agent2.channels.c1.type =メモリ

agent2.channels.c1.capacity = 10000

agent2.channels.c1.transactionCapacity = 10000

agent2.channels.c1.keepアライブ= 5

 

agent2.sinks.k1.type =アブロ

agent2.sinks.k1.channel = C1

agent2.sinks.k1.hostname = bigdata-pro01.kfk.com

agent2.sinks.k1.port = 5555

2)bigdata-pro03.kfk.comノード構成フリューム、ノードに収集されたデータbigdata-pro01.kfk.com

我々flume-conf.properties

agent3.sources = R1

agent3.channels = C1

agent3.sinks = K1

 

agent3.sources.r1.type =幹部

agent3.sources.r1.command =尾-F /opt/datas/weblogs.log

agent3.sources.r1.channels = C1

 

agent3.channels.c1.type =メモリ

agent3.channels.c1.capacity = 10000

agent3.channels.c1.transactionCapacity = 10000

agent3.channels.c1.keepアライブ= 5

 

agent3.sinks.k1.type =アブロ

agent3.sinks.k1.channel = C1

agent3.sinks.k1.hostname = bigdata-pro01.kfk.com

agent3.sinks.k1.port = 5555

おすすめ

転載: www.cnblogs.com/misliu/p/10951119.html