ハイブチューニング - トニー・孟の母樹がない嘘つき

  1フェッチフェッチし
  、グローバルな表情で、より提供MapReduceの計算hive.fetch.task.conversionを使用することなく、いくつかのケースでは、クエリのための手段を把持Fectch、ルックアップフィールドがない母性孟シェルの木の詐欺師-ハイブチューニング、検索や他のローカルモードはMapReduce2行かない制限
  ハイブチューン-トニー・孟の母樹がない嘘つき、Hadoopの仕事のほとんどは、Hadoopのは、しかし、時々 、入力データハイブ、大規模なデータセットを提供して処理するためにスケーラビリティを完了する必要があります量は、この場合には、タスクを消費し、クエリの実行時間のためのトリガが実行時間の実際の仕事よりもはるかにすることができ、これらのケースのほとんどのために、ハイブが単一のマシン上でローカルモードにすることができ、非常に小さいですすべての処理タスクは、小さなデータセットについて、実行時間が大幅に最適化ハイブが表3最適化するために、適切な時に自動的に起動するように、trueに設定hive.exec.mode.local.autoに短縮することができ
  、空気が濾過3.1 KEY
  JOINタイムアウトしてもよいしあまりにも特定のキーに対応するデータの多く、そして同じKEY対応するデータが同じ減速に送信されますが、メモリに結果が十分ではありませんので、その後、I 慎重に、多くの場合、分割する必要があり、これらのデータに対応するキーデータが異常である、我々は、SQL文でフィルタリングする必要があります。
  KEY空変換3.2
  値、時々対応するデータKEY空き地が、しかし対応するデータが異常データではないが、この時点で、我々はテーブルKEY空のフィールドは、ランダムに割り当てすることができ、結合の結果に含まれなければなりませんデータがない均一に異なるリデューサー上のランダムな点でできるようになります。
  3.3 MapJOIN
  ノーMapJOIN MapJOIN場合、または条件を満たしていない、パーサはその後、ハイブ、すなわち、JOINを共通に変換参加します:JOINの完成段階を減らして、データを登録しよマップの端に小さなテーブルのためのメモリにロードするMapJOINことができ、簡単に発生したスキュー、減速処理を避けます。

おすすめ

転載: blog.51cto.com/14539425/2439939