9.2.1デフォルトのソートのHadoopのMapReduceタスク出力

    デフォルトのソートのタスク

MapTaskとReduceTaskは関係なく、かどうか、ロジックの、キーによってソートされたデータをデフォルト設定されます。デフォルトでは、辞書的に発注され、この順序を達成するための方法がクイックソートです。しかし、マップやタスクを削減するだけで、すべてのグローバル出力と秩序あるという保証を単一の内部タスク出力と秩序を保証することはできません。

リングバッファの使用量は、ディスクに書き込まれたこれらの秩序オーバーフローデータをクイックソートを行うために、データ処理が完了すると、それは一種のディスク上のすべてのファイルをマージします一定のしきい値に達するMapTask、。ファイルサイズが一定の閾値を超えた場合ReduceTask、それはオーバーフローがディスクに書き込まれる、又はメモリに格納され、対応する各データファイルからのリモートコピーをMapTask。ファイルサイズやメモリのデータが所定の閾値を超えた場合、合併は、ディスクへのデータのオーバーフローを行います。すべてのデータのコピーが完了すると、ReduceTaskユニファイドメモリ上のすべてのデータとディスクマージソート、ディスク上のファイルの数が一定のしきい値に達した場合、マージはソート大きなファイルを生成するために実行されます。

ご自身が、あなたが取得するために、下のリンクをクリックする必要があり、非常に強力な、インテリジェント株式解析ソフトウェアを開発しました:

https://www.cnblogs.com/bclshuai/p/11380657.html

おすすめ

転載: www.cnblogs.com/bclshuai/p/12315342.html