書き込みにHDFS上のシンクで水路が、エラーがhdfs.BucketWriterをWARN:改名()ファイル(HDFSに失敗しました:// node132 /水路/ FlumeD

エラー:

コマンドで起動します。bin /水路-ngのエージェント--conf ./conf/ -f confに/水路-conf.conf -nエージェント1
、すべてが正常ですが、flume.log対数正規。
ビン/水路-ngのアブロ・クライアントと -H KF-APP1 -p 44444 -F /chunk1/demo/flume/test2.txt 送信ファイル、flume.logは以下のとおり
水路-f $尾[demoe3base @ App1のは、KF-ログインする]を.logの 
08月201314:34である:31370がINFO [lifecycleSupervisor-1-3](org.apache.flume.instrumentation.MonitoredCounterGroup.start:82) -コンポーネントタイプ:SOURCEは、名前:ソース1は、開始
月201314 08: 34は:31370 INFO [lifecycleSupervisor-1-3](org.apache.flume.source.AvroSource.start:155) - 。アブロソースソース1は、開始
:34:2013年5月14 08 45932 INFO [プール-6-スレッド1 (org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x34bf1d3b、/172.21.3.61:39262 => /172.21.3.60:44444] OPEN
08五月2013 14:34:45938 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x34bf1d3b、/172.21.3.61:39262 => /172.21.3.60:44444] BOUND:/172.21.3.60:44444
08五月2013 14:34:45938 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171 ) - [ID:0x34bf1d3b、/172.21.3.61:39262 => /172.21.3.60:44444] CONNECTED:/172.21.3.61:39262
08五月2013 14:34:46267 INFO [プール-7-スレッド-1]( org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x34bf1d3b、/172.21.3.61:39262:> /172.21.3.60:44444] DISCONNECTED
08五月2013 14:34:46267 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x34bf1d3b、/172.21.3.61:39262:> /172.21.3.60:44444] UNBOUND
08五月2013 14:34:46268 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x34bf1d3b、 /172.21.3.61:39262:> /172.21.3.60:44444] CLOSED
08五月2013 14:34:46268 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.channelClosed。 209) -切断/172.21.3.61:39262への接続。
08五月2013年14:34:46922 INFO [HDFS-hdfssink1コール・ランナー-0](org.apache.flume.sink.hdfs.BucketWriter.doOpen:189) - HDFSの作成:// KF-APP1:8020 / /FlumeData.1367994886244.tmp

質問は次のとおりです。1.なぜ一時ファイル「FlumeData.1367994886244.tmp」で、ファイルを閉じて行うことができないのですか?21::私はエージェントを殺すことを強制またはオフにされたときは、ログのみ「2013年5月8日14を出力17556 INFO [ HDFS-hdfssink1コール-ランナー-5](org.apache.flume.sink.hdfs.BucketWriter .renameBucket:379) - HDFSの名前を変更: // KF-APP1を:HDFSへ8020 /水路/ FlumeData.1367993804350.tmp:// KF-APP1:8020 /水路/ FlumeData.1367993804350」、 我々は、エージェントが自動的にシャットダウンすることができないと言いますか?

          2、およびエラー・ログ・ファイルを送信した後、第二は、私たちが直接チャネルは、ファイルを受信すると言う、UNBOUNDを見つけましたか?
2013年5月8日14:30:47202 INFO [プール-6-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x5a9b8ff9、/172.21.3.61:38652 => /172.21.3.60:44444] OPEN
2013年5月8日14:30:47203 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x5a9b8ff9、 /172.21.3.61:38652 => /172.21.3.60:44444] BOUND:/172.21.3.60:44444
08五月2013 14:30:47203 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x5a9b8ff9、/172.21.3.61:38652 => /172.21.3.60:44444] CONNECTED:/172.21.3.61:38652
08五月2013 14:30:47913 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171 ) - [ID:0x5a9b8ff9、/172.21.3.61:38652:> /172.21.3.60:44444] DISCONNECTED
08五月2013 14:30:47913 INFO [プール-7-スレッド-1](org.apache.avro.ipc .NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x5a9b8ff9、/172.21.3.61:38652:> /172.21.3.60:44444] UNBOUND
08五月2013 14:30:47913 INFO [プール-7-スレッド-1] (org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.handleUpstream:171) - [ID:0x5a9b8ff9、/172.21.3.61:38652:> /172.21.3.60:44444] CLOSED
08五月2013 14:30:47914 INFO [プール-7-スレッド-1](org.apache.avro.ipc.NettyServer $ NettyServerAvroHandler.channelClosed:209) - 接続切断/172.21.3.61:38652に

ソリューション:

8082変更9000

公開された19元の記事 ウォンの賞賛2 ビュー358

おすすめ

転載: blog.csdn.net/qq_44472134/article/details/104072490