MapReduceの分散コンピューティングシステム

MapReduceは(1TBより大きい)大きなデータセットの並列コンピューティングのためのプログラミングモデルです。コンセプト「マップ(マッピング)」と「削減(削減)」、およびその主なアイデアは、借りて、関数型プログラミング言語からのベクトルプログラミング言語の性質から借りています。場合は、プログラマが分散されず、並列プログラミングは、分散システム上で実行中のプログラムを所有するのは非常に簡単です。現在のソフトウェア実装では、マップ(マッピング)関数を指定することで、キーと値のペアを確保するために、同時削減(削減)機能指定されたキーと値のペアの新しいセットにマップするために使用されることのすべてのキーと値のマッピング各グループは、同じ鍵を共有します。

プログラムの語数を実行します

パス語数にcd /opt/module/hadoop-2.7.3/share/hadoop/mapreduceがあります。
タッチin.txtを実行し、入力ファイルとしてIn.txtファイルを作成します。
(空のファイルin.txt場合は、入力ファイルの入力内容としてVI in.txt、統計的な単語の頻度を実行する)
出力ディレクトリ/出力は、プログラム実行を作成し、自動的に、存在してはいけません。
語数を実行します。
出力/ /adir/in.txtのHadoop Hadoopの-JAR-例-2.7.3.jarのMapReduce WORDCOUNT
成功した実行後、入力/出力ディレクトリ、ファイルの一部-R-00000ビューのカウント結果を開きます。

おすすめ

転載: www.cnblogs.com/jsg-1262534563/p/10926712.html