HDFSのJava APIのトラブルシューティング

公式文書：
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/SingleCluster.html

データノード名前ノードとの通信のための無料密な構成ログ、

SSH-keygenは- トンRSA 
猫の〜/ .ssh / id_dsa.pub >>の〜/ .ssh / authorized_keysに

SSHを確認し、パスワードを入力する必要はありません。終了するには、exitを実行するためにログイン後。

sshはlocalhostの
存在します

など/ Hadoopの/コア-site.xmlの

<設定> 
    <プロパティ> 
        <名前> fs.defaultFS </名前> 
        <値> HDFS：// 192.168.3.127:8020 </ value>の 
    </ property>の
</設定>

など/ Hadoopの/ HDFS-site.xmlの

<設定> 
    <プロパティ> 
        <名前> dfs.replication </名前> 
        <値> 1 </ value>の
    </ property>の

    <プロパティ> 
        <名前> dfs.name.dir </名前> 
        <値>のファイル：/ホーム/ HDFS /名前</ value>の
        <説明>名前ノード上存储HDFS名字空间元数据</記述> 
    </ property>の

    <プロパティ> 
        <名前> dfs.data.dir </名前> 
        <値>のファイル：/ホーム/ HDFS /データ</ value>の
        <説明>データノード上数据块的物理存储位置</記述> 
    </ property>の
</構成>

ポートを開きます

ファイアウォール-CMD --add-ポート= 8020 / TCP - 永久的な
ファイアウォールは --add-ポート= -cmd 50010 / TCPを- 永久的な
ファイアウォールは --add-ポート= -cmd 50070 / TCPを- 永久的な
ファイアウォールは -cmd -リロード

1. java.lang.IllegalArgumentExceptionが：URIが権限コンポーネントを持っている
の`binに/ HDFS名前ノード-format`の実装でエラーが発生しました。
HDFS-site.xml構成を確認することは正しいです

<プロパティ> 
<名前> dfs.name.dir </名前> 
<値>ファイル：/ホーム/ HDFS /名前</ value>の
<説明>は、名前ノードに格納されている名前空間のメタデータをHDFS </説明> 
</プロパティ> 

<プロパティ> 
<名前> dfs.data.dir </名前> 
<値>ファイル：/ホーム/ HDFS /データ</ value>の
<説明>データブロックのデータノードの物理的な保管場所が</説明> 
</プロパティ>

2. java.io.FileNotFoundException：HADOOP_HOMEとhadoop.home.dirの設定が解除されている。
解压のHadoop-2.9.2.tar.gzの到のD：\アプリ\

するSystem.setProperty（" hadoop.home.dir "、" D：\\アプリケーション\\のHadoop-2.9.2 "）。

3. java.io.FileNotFoundException：Hadoopの実行可能ファイルが見つかりませんでした
：D：\アプリ\のHadoopの-2.9.2ビンの\ winutils.exe \ 下winutils.exe {HADOOP_HOME} \ビン\にダウンロード

4.アクセス許可が拒否されました：ユーザー= WRITE、iノード= "/" = XXX、アクセス：ルート：スーパーグループ：drwxr-XR-Xを

/ * * 
*アクセスなし、のHadoop Linuxのユーザー名のリモート設定解決しない
* / 
プライベート 静的 =最終文字列USER " ルート" ; 

ファイルシステムを。=ファイルシステムのGET（新新（HDFS_PATHのURI）、コンフィギュレーション、USER）;

5. java.net.ConnectException：接続がタイムアウト：さらなる情報与のorg.apache.hadoop.ipc.RemoteExceptionは：/hello-hadoop.mdのみ代わりminReplicationの0のノードに複製することができないファイル（= 1）。 1データノード（S）ランニングと1つのノード（複数可）は、この操作で除外されているがあります。

＃のデータノードポートオープン
ファイアウォールは --add-PORT = -cmd 50010 / TCPを- 常設
ファイアウォール -cmd --reload

6.スキーム「HDFS」なしにファイルシステムを

<依存性> 
    <のgroupId> org.apache.hadoop </のgroupId> 
    <たartifactId> Hadoopの-HDFS </たartifactId> 
    <バージョン> $ {org.apache.hadoop.version} </バージョン> 
</依存> 
<依存性> 
    < groupId> org.apache.hadoop </のgroupId> 
    <たartifactId> Hadoopの共通</たartifactId> 
    <バージョン> $ {org.apache.hadoop.version} </バージョン> 
</依存> 
<依存性> 
    <のgroupId> ORG。 apache.hadoop </ groupIdを> 
    <たartifactId> Hadoopのクライアント</たartifactId> 
    <バージョン> $ {org.apache.hadoop.version} </バージョン> 
</依存関係>

質問があるメッセージ交換を残してください。

技術交流グループ：282 575 808

--------------------------------------

免責事項：許可なしに元の記事を複製禁止されています！

--------------------------------------

HDFSのJava APIのトラブルシューティング

おすすめ