大量のデータを使用することで様々なレポートを解決するためにあなたを教えるためにトリック

私たちの日常の報告の分析では、あなたは常にさまざまな問題が発生します。たとえば、レポートには、どのようにこれらのケースを解決するためにスーパースロー、レポートの負荷を増大するデータを、根底にありますか?

これは、大規模なデータコンピューティングソリューションを扱うことができる最も一般的なデータベースであり、そしてウィングハングは、データの計算を完了するために、データベースを使用することができます。ただし、SQL実装を使用して、より複雑な計算のいくつかの報告は、その後、我々はデータの計算を完了するために提示し、直感的な計算ウィングハングレポートを使用しますが、非常に困難になります、直接バックこのアプローチのリードがビッグデータだけでなく、パフォーマンスに対処します低、負荷に長い時間を報告生じる可能性があります。

Todayの記事、メイン紹介少Yonghongデータマートのデータセットは、このアプローチは、強力で便利なデータ処理を提供し、ユーザーが簡単にシーンのレポートで大量のデータが遅いロードの問題に対処することができます。

まず、機能を実現

日によってマークされ、市場と市場のインデックスファイルにウィングハングクエリ結果は、ウィングハングは日中のみスキャンクエリデータを報告したときに一日ずつ処理ロジック。

第二に、実装手順

図1に示すように、パラメータを設定します

クエリ条件<etd_date_lm>内のパラメータを追加し、TEST_YH SQLデータ・セットと呼ばれるファイルを作成し、このパラメータは、動的取得日昨日で、フォローアップが挙げられるだろう。

大量のデータを使用することで様々なレポートを解決するためにあなたを教えるためにトリック

2、新しいジョブ

型に設定されているジョブの新しいタスクのスケジューリング:増分インポートデータは、SQLデータ・セットのTEST_YHデータセットは、前のステップで作成され、ファイル名を格納するためのフォルダが、我々はデータを追加することにしました。

大量のデータを使用することで様々なレポートを解決するためにあなたを教えるためにトリック

タスクのパラメータを動的に取得し、最後の日とすることが可能に配置された最下層のスクリプト<etd_date_lm>パラメータ、setMeta(「search_data_index」、は、FormatDate(「YYYY-MM-DD」)は)セットに使用されているが、ファイルデータマート属性データマートデータセット内のこの条件の濾過特性によって見ることができます。

ファイル=は、FormatDate( "YYYY-MM-DD")は、データマートのファイル名を作成することです。

大量のデータを使用することで様々なレポートを解決するためにあなたを教えるためにトリック

3、ファイルを生成します

このジョブスケジューリングタスクを実行し、ファイルを生成することができます。

大量のデータを使用することで様々なレポートを解決するためにあなたを教えるためにトリック

我々はまた、さらなるステップ管理システムで生成されたファイルのチェックの統計データマートファイル情報の警告を監視することができます。

大量のデータを使用することで様々なレポートを解決するためにあなたを教えるためにトリック

図4に示すように、リードデータ

前のフォルダ内のファイルを選択し、生成されたデータマートのデータセットを作成し、必要に応じて渡されたファイル選択時のパラメータ受信フィルタ。

大量のデータを使用することで様々なレポートを解決するためにあなたを教えるためにトリック

ウィングハングは、上記、ウィングホンテクノロジーの強力な製品機能導入されたデータマートのデータ・セットを使用することですについて次のレポートは、大量のデータを使用して、簡単に対処することができます。

おすすめ

転載: blog.51cto.com/14637453/2468189