POIデータストレージ

  記録全体データ処理および生成された中間データに結果データを記憶するためのPOIデータ記憶手段は、異なるデータ・ストレージの目的は、プロセスにおいて同じではありません。

  説明の便宜上、ここで融合ポイと呼ばれる結果、データアクセスポイPPと呼ばれます

  異なる目的によると、我々はいくつかのカテゴリにデータを格納します。

  1.データ出力:プロセスの結果、ある、POIデータは、最も重要なデータです。

  2.データの計算:プロセスの中間結果、例えば、正規化された出力の各々は、アクセスしたPPデータ(POI我々の出力が決定される融合から生じる同じPOIいくつかのPP、当り正規化各アクセスPPの結果統合が使用されます回)

  3.歴史トラッキング:や歴史は、このような高い北の道徳的なマップで、古代の水の町を探索として、古代の北郷、電話、情報やチケットの場所が含まれているリターンの結果をどのように変化するかのトラブルシューティングや変更データ分析、履歴POIコメントは、これらのデータは複数のデータソースから来るかもしれない、私たちは、位置情報は、パブリックコメントや他のプラットフォーム、およびこれら三つのソースからのコメントを発券し、フライングピッグプラットフォームデータから、他の情報、古高ドイツ語ノースウォータータウン自身のデータの生成に由来していることを前提とそれぞれのアクセスの頁、その後、POIデータが徐々にチケット情報やレビュー情報を増やし、当初からの情報をもとになり、本来のPOIデータは、問題を発見するために、対応する分析に関連付けられたデータです。

  異なる目的のためのデータが格納されたデータは、POIの履歴を追跡するのと同じ、例えばPOI、融合又は結果データのサービス側、及びこのデータの後に、ユーザへの出力データは、データ演算処理において使用される、プロセスであり得ます変更が毎回結果POIデータ融合記録されています。ユーザーはリアルタイムのアクセスを必要とするように、出力に応じて、データ出力のために、記憶装置は、状況が可能である満たすために、リレーショナルデータベースのパフォーマンスの下で、当然のKVデータベース、である必要がありますが、時にバッチデータのニーズは特に、出力する際に​​、適切な方法であるかもしれない、異なるものになります全国のPOIデータに関連するデータベースは、明らかに、ハイブを介してデータを出力するための最良の時間は、需要を満たすことができないとき(現在の高いドイツ語、Baiduのマップ、ポイテンセントの総量のマップは万人から約70に達している);必要に応じて、リレーショナル・データを、歴史的な歴史のidクエリの複数のバージョンに応じて、この時間は、より良い方法のHBaseのか、費用対効果の高いKVデータベースでなければなりません。

  このプロセスでは、データ出力やデータの計算ではなく、歴史を追跡する最も緊急のニーズの要件を満たすために安定的かつ効率的なパフォーマンスでなければならない、現在のオンラインサービスに影響緊急性の低い、およびそのデータ記憶容量は遠いません2遠くを超える需要が、犠牲部分の性能要件を達成することが可能です。

おすすめ

転載: www.cnblogs.com/dlgh/p/12041060.html