接続が拒否されました:ファイルがHDFSレコードjava.net.ConnectExceptionを読んでいるとき、問題が発生します

 

同社のHadoopクラスタは、同僚の前に構築され、スパークシェルは、次のコマンドを実行したときにI(白)は、HDFS上のファイルを読むために

>>> word=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")
>>> word.first()

エラー:java.net.ConnectException:ローカルホストへのHadoop / 133.0.123.130からの電話:9000は、接続例外で失敗しました:java.net.ConnectException:接続を拒否する。問題であり、私は以下のHDFS上のファイルを参照してくださいHDFSローカルサーバー接続のように見える、発見はHDFSローカルサーバーとの接続には、通信は問題ではないことを示し、通常見ることができます!したいと思った、私はHDFS上のファイルを読むために別の方法を変更する必要があります

>>> word=sc.textFile("/user/hadoop/test.txt")
>>> word.first()

ファイルはHDFSのスパークデフォルトで読み込まれるため、ので、この方法が可能であり、正常な動作を発見し、問題がクリアされている、とは「localhost:9000」である下論外、私はHadoopのを見ての/ etc /ポートは、コアのsite.xmlを配置しました

ディスプレイポートの設定が正しく、それは間違ったIPアドレスを対応するローカルホストする必要があります!そして、見つかったhostsファイルを表示、

IPアドレスが一致していないローカルサーバーに対応見つかりローカルホストのIPアドレスは、最終的に私はHDFSはファイルを変更する指示を読んでます、その理由を見つけました:

>>> word=sc.textFile("hdfs://hadoop:9000/user/hadoop/test.txt")
>>> word.first()

通常の結果。

 

おすすめ

転載: www.cnblogs.com/hgz-dm/p/11356357.html