まず、Windowsでhadoop環境変数を構成します
1. hadoop圧縮パッケージを任意の場所に解凍します。パスに中国語やスペースを含めることはできません
2. Windowによってコンパイルされたhadoopファイルを、解凍されたhadoopフォルダーのbinディレクトリに配置します
3.環境変数でHADOOP_HOMEを構成します
5.環境変数のPATHに％HADOOP_HOME％\ binおよび％HADOOP_HOME％\ sbinを追加します
次に、EsclipseへのHadoopプラグインのインストール
1.プラグインjarパッケージをEsclipseフォルダーの下のpluginsフォルダーに投入します
2. Linux仮想マシン上のhadoop構成ファイルhdfs-site.xmlを編集して、dfs.permissions構成を追加します
3. esclipseにhadoopパスを構成する
4.仮想マシンでhadoopを起動し、start-all.shを実行して、esclipseでマップを開く/ビューを縮小する
5. esclipseでhadoopリンクを構成する
構成が完了した後、エラーがなければ、DFSLocationが左側に表示され、接続されているHadoop上のファイルを直接表示できます
3、mapreduce開発を実施する
1.データを作成し、データをhadoopにアップロードします
esclipseのhadoopプラグインが構成されているため、数学でランダムを使用して大量のデータを偽造でき、いくつかの簡単な条件付き判断ステートメントは、DFSLocationの下のフォルダーを右クリックして、dfsにディレクトリをアップロードする必要はありません。
データを書き込むときは、
BufferedWriter writer=new BufferedWriter(new OutputStreamWriter(out,"UTF-8"));
すべてのテキストがutf-8形式であることを確認してください。そうでない場合、文字化けが表示され、esclipseのエンコーディングもutf-8形式に変更されます
2.地図の作成/縮小
新しいプロジェクトを作成するときに、新しいマッパー/レデューサープロジェクトを作成することを選択すると、esclipseがHadoop関連のjarパッケージを自動的にインポートします
①マッパーの開発
新しいマッパーを作成する
②、レデューサーの開発
③ドライバーの開発
④プログラムを実行し、hadoopで実行を選択します
結果は以下の通りです
