水路を同時に提供することと、水路Clouderaのデータを収集するためのカスタマイズされたデータフリューム送信者ログシステムの様々なタイプをサポートするために、高可用性、信頼性の高い、分散大規模なログ収集、凝集および伝送システムに設けられています単純なデータ処理、及びデータ受信者の様々な書き込みする能力(カスタマイズ)です。
1.flumeノード設計サービス
2.ダウンロードして水路をインストール
1)ダウンロードApacheの水路のバージョンを。
2)ダウンロードClouderaのの水路のバージョンを。
3)のApacheのapache-水路-1.7.0-bin.tar.gzのバージョンをダウンロードするには、ここで選択し、[bigdata-pro01.kfk.comノードの/ opt /ソフトウェア/ディレクトリにアップロード
4)水路を抽出
タール-zxfのapache-水路-1.7.0-bin.tar.gz -Cは/ opt /モジュール/
5)水路は、他の2つのノードに分配します
SCP -r水路-1.7.0-binのbigdata-pro02.kfk.com:/opt/modules/
SCP -r水路-1.7.0-binのbigdata-pro03.kfk.com:/opt/modules/
3.flumeエージェント-1収集ノード構成サービス
1)bigdata-pro02.kfk.comノード構成フリューム、ノードに収集されたデータbigdata-pro01.kfk.com
我々flume-conf.properties
agent2.sources = R1
agent2.channels = C1
agent2.sinks = K1
agent2.sources.r1.type =幹部
agent2.sources.r1.command =尾-F /opt/datas/weblogs.log
agent2.sources.r1.channels = C1
agent2.channels.c1.type =メモリ
agent2.channels.c1.capacity = 10000
agent2.channels.c1.transactionCapacity = 10000
agent2.channels.c1.keepアライブ= 5
agent2.sinks.k1.type =アブロ
agent2.sinks.k1.channel = C1
agent2.sinks.k1.hostname = bigdata-pro01.kfk.com
agent2.sinks.k1.port = 5555
2)bigdata-pro03.kfk.comノード構成フリューム、ノードに収集されたデータbigdata-pro01.kfk.com
我々flume-conf.properties
agent3.sources = R1
agent3.channels = C1
agent3.sinks = K1
agent3.sources.r1.type =幹部
agent3.sources.r1.command =尾-F /opt/datas/weblogs.log
agent3.sources.r1.channels = C1
agent3.channels.c1.type =メモリ
agent3.channels.c1.capacity = 10000
agent3.channels.c1.transactionCapacity = 10000
agent3.channels.c1.keepアライブ= 5
agent3.sinks.k1.type =アブロ
agent3.sinks.k1.channel = C1
agent3.sinks.k1.hostname = bigdata-pro01.kfk.com
agent3.sinks.k1.port = 5555