伝統的なビジネスインテリジェンス、エンタープライズ・データ・アプリケーションは、ビッグデータ・アプリケーションを比較します

近年では、大規模なデータシステムのより多くのアプリケーションとして、企業のデジタル管理ソリューションは、エンドでどのような類似点や各種プログラム間の違い、最新のビッグデータ・ソリューション、従来のBIモデルから、対応できないアウト層最終的には関係は何ですか?どのように最適化業務に固有のプログラム、開発コストの実施を通じて、以下のオンラインビジネス・インテリジェンスおよび一部によって収集ビッグデータの私の議論です。私はこの記事はエンタープライズシステムを作る上でいくつかの考えを提供すると信じ、

伝統的なビジネス・インテリジェンス・モデル

ビジネスインテリジェンス(また、ビジネス・インテリジェンスとして知られ、ビジネスインテリジェンス、BI)の概念が最初ハワードDresnerのガートナー・グループ(ガートナーグループ)によって提案されたが1996年に提唱しました。それは次のように定義されました:「ビジネス・インテリジェンスは、事実に基づいた援助事業の意思決定への考え方や方法のシリーズを記述したアプリケーションを介してシステムをサポートします」

ビジネスの分野での知性の発展に伴い、コンセプトはかなりのであり続けています。中TomSoukupとイアン・デビッドソンとして「ビジュアルデータマイニング:データの可視化やマイニングのための技術とツール」彼の本の中で:「ビジネス・インテリジェンス・ソリューションを実行することができる明確な、事実に基づいた情報へのビジネスデータを変換し、ビジネスを行います顧客は、トレンドを発見することができ、顧客の忠誠を作成し、取引先との関係を強化し、金融リスクを減らすだけでなく、新たな販売機会を明らかにします。」

ビジネスインテリジェンスの意味は、情報システム、データ解析、知識発見と企業のすべてのレベルでコンテンツ戦略の様々な、人気のサプライチェーン・マネジメント(SCM)、顧客関係管理(CRM)、エンタープライズリソースプランニング(ERP)の概念されているが含まれていますこれは、ビジネス・インテリジェンスの一部とみなすことができます。

ビジネス・インテリジェンス・システムの不可欠な部分

一般的に考えられている、DWは、OLAPは、DMは、すべてのビジネス・インテリジェンス・システムの不可欠な部分がで用意されています:

データウェアハウス(データウェアハウス、DW)は、企業のすべてのタイプに貴重なデータの集まりです。プラットフォームおよび洗浄プロセスで有用な各種のデータから採取したBIエンタープライズシステムは、次いで、変換負荷(すなわちETL)プロセス、デシメート、データウェアハウスに格納されたデータは、企業データのグローバルビューを取得します。データウェアハウス内のデータは通常、詳細な各種データ、凝集および階層関係の欠如であり、したがってまれ分析および意思決定のために直接使用されないからです。

オンライン分析処理(オンLineAnalytical処理、OLAP)オンラインデータアクセスと分析ニーズを処理するため。BIシステムでは、OLAPの概念が生じたので、それが元になり、理解することができるにデータを使用することは困難で、多次元情報、意思決定者を支援しやすく、効率的かつ直感的なデータクエリおよび表示を意思決定者に提供する必要があり、ドリル、スライシング、ダイシング、問い合わせニーズの様々な寸法に満たすユーザデータへの多次元情報の他の操作を提供します。

データマイニング(データマイニング、DM)は、データの塊から、アルゴリズムによって隠された情報を検索するための技術を指します。典型的に関連する分析、クラスター分析、異常解析を含みます。データマイニングの値は、それが企業データ帰納的推論を活用し、援助の意思決定者へのモデルの可能性をタップする意思決定を行い、戦略を調整することができるということです。データマイニングのBIシステムはまた、伝統的な報告システムとの主な相違点は異なっています。

従来の技術では、BIシステムの3つの主要コンポーネントは、リレーショナルデータベース(RDBMS)は、そのようなオラクル、IBM、マイクロソフトなど、多くのリレーショナルデータベース、の、メーカーだけでなく、ビジネス・インテリジェンス・ソリューション・プロバイダーを使用して実装することができ、両方の目に見える近くの組み合わせ。近年では、ビッグデータの時代の到来で、非リレーショナルデータベース(NoSQLの)利点は示し始めて。特にインターネット業界の多くのIT企業は、ユーザー指向と多次元クエリのショーのために、膨大な量のデータをクリーニングし、処理するために、OracleなどのリレーショナルデータベースをなどのHBaseなどの非リレーショナルデータベースをSQLとNoSQLの両方の時代に入りました。当社のデータ分析プラットフォームは、この技術モデルを使用しています。しかし、どのような技術の一種で、次の三つの主要な機能への3つの主要コンポーネントの対応を使用して、ビジネス・インテリジェンスに関係なく。

ビジネス・インテリジェンス・システムの主な機能

データ管理機能:、データの複数のソースからデータを取得する複数の形式でデータを処理し、膨大な量のデータを記憶する能力。この補助機能は、システムは、BIメタデータ管理モジュールの数を含む、データ記述データを管理します。ビジネスのためのリフティングでは、ますます複雑化するデータ、我々はデータ管理機能を改善する必要があります。近い将来、およびメタデータ管理の口径は、最適なソリューションです。

データ分析:システムは、従来のBIタイムリーなクエリ、レポート生成、データの可視化、データ分析が含まれます。意義のビッグデータの時代には、ギャップデータは徐々に、普通のユーザーは、データへのアクセスを要求するだけでなく、企業の意思決定者がより便利で柔軟な運用データすることができ、排除されていることで、ユーザーが独自の経営を分析することができ、この点でユーザーのニーズを満たすために、企業自身、両当事者に大きな価値をもたらすことになります。シーナマイクロブロギングデータ解析プラグインは、淘宝網のデータキューブは、すべての正のサクセスストーリーです。残念ながら、いくつかのアンティークのビジネスは、ユーザーが、自分の消費量が不明であるチェックのみのユーザーの損失を加速する、未知を依頼することができ、データの障壁を高めるしようと、まだ傾向がBUCKあります。私はこれらの企業は唯一の変化を受け入れる、彼らは変更を受けない、透明でオープンなデータ環境を作成するために、できるだけ早く古いアイデアを変更することをお勧めします。

知識発見:暗黙的なデータ、潜在的に有用な、面白い人や機能に関する知識のダウン硬化の一部を形成します。抽出知識は通常、というように概念、ルール、法律、パターンを提示します。私は、顧客が、顧客が望むものをどこの顧客であり、誰が何を、主にどこの問題を解決するためにその知識発見を信じています。ビッグデータ環境では、1であっても、そのようなウォルマート「ビールとおむつ」として、古典的なケースをいくつかの信じられないほどの販売モデルを見つけることができます。当社では、この機能が急務で強化します。繰り返し言及会社のリーダー「書籍や、ユーザーが理解していないが、」知識発見能力の欠如の明確なシグナルです。

ビッグデータ革命

1、意思決定の統合データ型のさまざまな方法を使って。小売では、例えば、企業の情報システムデータのセーブラインの伝統的な販売モデルは、通常は注文データは、企業だけこうして生成受注及び財務諸表の状況を懸念しているです。個人顧客の問い合わせ処理の特性、物流などに廃棄されています。オンライン販売モデルは、順序がデータのほんの一部であり、企業はより貴重なものですが、これらの放棄された伝統産業のためのユーザーの閲覧、検索、比較、コレクション、お問い合わせ、物流、評価データ、及び電気のさえたくさん他のWebアクセス、ユーザーのウェブサイトの痛みは、場所、連絡先、およびその他のデータをクロール。かかわらず、データがオンライン販売は、顧客がより正確に提供し、よりパーソナライズされた経験をお勧めします少なくとも、合法的に収集されたかどうかの、我々は電気の供給業者は、ラインレザー生活の販売データに頼ってきたと言うことができます。

2、もはや原因と効果を探るない、との関連を探求します。そのような「買いバスケットボール - 推奨されるバスケットボールシューズ」のようなガイド管理との因果論などの伝統産業、「オフシーズン理由 - プロモーション」などがそう。同様のプログラムは、業界自体の必要性を理解しているが、より多くの類似したになるビジネスモデルを頻繁に利用します。ビッグデータ環境では、我々は、協会ではなく、因果関係である探求する必要があります。そのようなウォルマートの「ビールとおむつ」の話として、ウォルマートのデータアナリストは2提案、販売プログラムの間に強い相関関係が見出されます。深い理由を探求する必要がなく、データアナリストは、妻がおむつと彼女の夫を聞かせて、または夫がビールと彼の妻を聞かせて、それは単に問題ではないです。別の例では、科学者によってモデル化し、Googleのデータは、領域がインフルエンザの流行なので、米国公衆衛生サービスは、多大な貢献をしてきましたどうなるか予測する用語を検索します。インフルエンザウイルスだった理由をこれらのデータ科学者にもわかりませんが、これは彼らが関連付けられたデータから、大きな価値を発見影響を与えませんでした。

3、金とダーティデータから異常データ。従来のデータ・ウェアハウスの構築プロセス、異常なデータは、ダーティデータは、それ以外の場合は、データストレージの問題やその他の障害の原因となります、ETLプロセスで除去する必要があります。しかし、ビッグデータ環境では、異常なデータはなく、その値を有することができます。前作で著者は、毎日8:00と20:00には間違ったものにアクセスするクライアントの数が多いことが判明し、これらのレコードは、ETLきれいです。さらなる研究は、これらが同じインターフェイスに間違ったものリードを呼び出し、その後、さらに検証サービスコードしていることが示されたとAndroidクライアントを発見し、午前8時00毎日がサーバーに沈黙クライアントのユーザーと午前20時2つのピリオドクライアントを追跡するために設計をお送りします量は、クライアント、とても圧倒サーバーハンドシェイクメッセージを維持するために増加されたときにハンドシェイクメッセージは、最終的には間違ったものを作ります。クライアントコードの後、サーバーの拡張の「ピーク」によると、偽の圧力を避け、サーバーの負荷を軽減、ハンドシェイクの日実行するための分散を調整するように設計。別の例として、米国の信用機関は、追加の利益をもたらすでしょう、「死んだ」の顧客の10%はまだローンを返済ではなく、これらの異常は、アカウントデータの処理を中止した保つために正常であることがわかりました。

もちろん、ビッグデータ革命ははるかに三点上記以外もたらし、それは機会と課題の両方をもたらします。新機能のポイントを生成するために結合されているどのくらいのアイデアや伝統的なBIデータ我々は緊急に考える必要がある問題です。

BI(ビジネスインテリジェンス)

ビジネスインテリジェンス(ビジネスインテリジェンスは、と呼ばれる:BI)、ビジネス・インテリジェンスやBIとして知られ、分析を参照し、ビジネス価値を提供するために、オンライン、現代のデータウェアハウス技術とデータ分析のためのデータマイニングやデータプレゼンテーション技術を技術を処理します。

ビジネスインテリジェンスツールとして、既存の企業データを処理し、右および情報に基づいた意思決定を行うための知識、分析、結論、補助やビジネスの意思決定者にそれを変換するために使用されます。ヘルプに企業が分析システムへの倉庫からのデータを含む技術の意思決定の品質を向上させるためのデータをより有効に活用されています。

ビジネスインテリジェンス

ビジネス・インテリジェンスは、通常、意思決定のための情報に基づいたビジネスツールを作るのを助ける会社への知識に企業データを既存のものとして理解されます。ここでは、企業の業務システムとのビジネス外部環境から他のさまざまなデータからの受注、在庫、取引口座、顧客やサプライヤーとの業界からのデータや競合他社、他の企業を含め、データについて話しています。ビジネス・インテリジェンスは、ビジネス上の意思決定を支援することができますいずれかの層を操作し、それは戦術的かつ戦略的な意思決定層とすることができます。知識にデータを変換するためには、データウェアハウス、技術をマイニング、オンライン分析処理(OLAP)ツールとデータを使用する必要があります。したがって、技術的な観点から、ビジネス・インテリジェンスは、それは、データ・ウェアハウス、OLAP、データマイニング技術の統合のみ使用される新しい技術ではありません。

ビジネス・インテリジェンスは、ビジネス上の収集情報にあると考えられている、管理、分析プロセスは、企業がより収益性の高い意思決定を行うためにそれらを促し、知識や洞察(洞察力)を得るために、ビジネスの意思決定者のすべてのレベルを可能にするためのものです。一般的なビジネス・インテリジェンス、データウェアハウス、オンライン分析処理、データマイニング、データのバックアップとリカバリおよびその他の部品。データウェアハウス、オンライン分析処理と三つの部分をデータマイニングなどのビジネスインテリジェンスソフトウェアに関連する実装、ハードウェア、サービス、アプリケーション、コンサルティング、その基本的なアーキテクチャ。

そのため、ビジネス・インテリジェンス・ソリューションは、より適切と見なされるべきです。重要なビジネス・インテリジェンスは、データの正確性を保証するために、クリーンで有用なデータではさまざまな企業から多くの業務システムからデータを抽出して、抽出(抽出)を介して、変換(変換)と負荷(ロード)することであるということですETL処理は、エンタープライズ・データウェアハウスへのマージは、適切なクエリおよび分析ツール、データマイニングツール(ビッグデータミラー)を使用し、これに基づいて、企業データのグローバルビューを与えるために、OLAPツールがあること分析および処理(今回意思決定支援情報が知識となり)、そして最終的に意思決定プロセスの管理をサポートするために、ナレッジマネジメントに提示。

マイクロソフト、IBM、オラクル、SAP、インフォマティカ含む大手IT企業のためのビジネス・インテリジェンス・ソリューションを提供し 、MicroStrategyの、SAS、Royalsoft と上のように。

主流のビジネス・インテリジェンス・ツールは、スタイル・インテリジェンス(BIキンゴジカ)などが
、FineBIビジネスインテリジェンスソフトウェア、BO、COGNOS、BRIO。このようKCOMプラットフォームなど、一部の国内のソフトウェアツールはまた、重要なビジネス・インテリジェンス・ツールを統合しています。

OLTP(オンライントランザクション処理)

オンライントランザクション処理、オンライン・トランザクション処理(OLTP)、また、実質的に処理するためのコンピューティングセンターに直ちに転送することができる受信、受信したユーザデータを特徴とするトランザクション指向の処理(またはオンライントランザクション処理)として知られており、非常に短いですで結果は、処理時間に与えられ、ユーザ操作が高速応答モードの一つです。

オンライントランザクション処理システムは、データ処理部、人間とコンピュータの相互作用のコンピュータアプリケーションシステムなどのトランザクションメタデータの一種です。それは即座に更新やデータ上の他の操作は、システム内のデータは常に最新の状態に保たれています。ユーザがトランザクション端末、パーソナルコンピュータ又は他の入力装置員トランザクション、結果後のシステムに戻り、航空機で使用されるチケット、銀行出納係、株取引として指定されたデータの整合性要素を設定できる操作、スーパーマーケットの配列前と後の販売、ホテル経営。[1]
これの最大の利点は、入力されたデータは、リアルタイムでタイムリーな答えを処理できるということです。また、リアルタイムシステム(リアルタイムシステム)として知られています。システムの性能の結果を処理するオンライン取引の重要な尺度は、リアルタイム要求として具現-応答時間(応答時間)、すなわち端末のユーザ入力データの後に、時間は、コンピュータによって与えられ、この要求に応答するために必要。OLTPは、正面からのものであるアプリケーション、完全に一緒にデータベース、速度を処理し、データベースエンジン、サーバ、アプリケーションエンジンの処理の程度に応じ。
OLTPデータベースは、トランザクション・アプリケーションはできるだけ早くとして、単一のトランザクションを処理するために必要なデータのみを書き込みにすることを目的としています。

オンライン・トランザクション処理

OLAP(オンライン分析処理)

オンライン分析処理OLAP、データの深い理解を達成するために、すべての側面から素早く、一貫性のある、インタラクティブな観測情報にアナリストを可能にするソフトウェア技術です。これはFASMI(共有多次元情報の高速分析)、多次元情報の迅速な分析、すなわち、共通の特徴を有しています。Aは、(分析)分析可能で、ユーザーが分析などである、特殊な計算なしで新しいプログラムを定義することができることを意味し、ここでFは、高速(高速)、システムがユーザの要件秒の中で最も分析に反応することができる手段であり、 I(情報)の情報は、情報へのタイムリーなアクセスを意味し、Mはデータ解析の多次元ビューを提供するための(多次元)、および分析手段多次元である部分は、ユーザによって所望のように報告されています大容量の情報の管理。

ここに画像を挿入説明

オペレーティング・システム、データベース、データ・ウェアハウス・システムとの間の差

オペレーティングシステムの主なタスクは、データベースがオンライントランザクションとクエリ処理を実行することです。このシステムは、オンライン・トランザクション処理(OLTP)システムと呼ばれています。彼らはまた、業務システムとして知られているなど、ショッピング、在庫、給与計算、などユニットの日常業務、のほとんどをカバーしています。意思決定のサービスをユーザーに提供することにある一方、データウェアハウスやデータ分析システムでは、このシステムは、オンライン分析処理(OLAP)システムと呼ばれています。

OLTPとOLAP、次の分野の主な違い。

そして、ユーザ指向システム:OLTPは顧客向け、トランザクションおよびクエリ処理店員、顧客やITプロフェッショナルのために使用されます。OLAPは、市場指向(マネージャー、幹部やアナリストなど)知識労働者のために、データ分析です。
データ内容:OLTPシステム管理現在のデータ。通常、このデータは、意思決定のために困難であり、あまりにも自明です。OLAPシステムは、過去の大量のデータを管理要約、凝集機構、及び格納を提供し、粒度の異なるレベルでの情報を管理します。これらの機能は、データ情報に基づいた意思決定のためにそれが容易になります。
表示:OLTPシステムでは、部門内ではなく、過去のデータや、異なるデータユニットに現在のデータやビジネスに焦点を当てました。対照的に、ユニット、OLAPシステムの進化に起因することが多いデータベーススキーマの複数のバージョンを横切ります。OLAPシステムは、異なるユニットからの情報だけでなく、複数のデータベースの情報統合を扱います。データの膨大な量に、OLAPシステムはまた、典型的には、複数の記憶媒体に格納されています。
アクセスモード:OLTPシステムは、短いアトミック・トランザクションで主に構成されています。このようなシステムは、同時実行制御とリカバリ・メカニズムが必要です。これらの操作の多くは、複雑なクエリとすることができるものの、OLAPシステムへのアクセスは、(代わりに最新のデータを、履歴データを格納するためにより大きな部門データウェアハウスに)ほとんどの読み取り専用操作です。
他の違いは、OLTPとOLAPデータベースのサイズ、パフォーマンスメトリックや動作周波数などが挙げられます。

なぜ我々は、別のデータウェアハウスが必要なのか

大量のデータを格納するデータベースの動作は、読者がなぜオンライン分析処理(OLAP)のために直接データベースに、不思議に思うかもしれませんが、追加の時間とリソースが別のデータウェアハウスを構築するために?主な理由は、2つのシステムの分離のパフォーマンスを向上させる手助けをすることです。データベースの運用タスクと、そのような特定のレコードを取得するために使用されるプライマリキーインデックスとして設計負荷、カスタマイズされたクエリの最適化として知られています。一方、データウェアハウスのクエリは、データ、アクセスおよび実装方法の多次元ビューに基づく特殊な組織が必要な場合があり要約レベルの計算に大量のデータを含む、多くの場合、複雑です。データベースの操作を処理するOLAPクエリは、それが大幅に運用タスクのパフォーマンスが低下することがあります。

例として、相関およびOLTP及びOLAPの間の差を説明します。

ここに画像を挿入説明
私たちは、このシーンを想像することができます:
張をATM預金に2000ドルを操作することで、
張は、最初のATM機に彼の銀行カードのパスワードを入力し、パスワード認証を待って、
自分自身の2000年の現金を持って来る、保存操作を選択しますATMに、ATMマシンが検証に銀行券、
ガールフレンドのために待っている張情報バック時に、この時間
識別が完了するには、預金を確認
2000ドルを堆積させるために、銀行のデータベースに張で、この時間をネットワーク伝送を指定、ATM処理フィードバックを待つ
中央銀行のデータベースが処理された後、サリーのATM機に返される結果の処理は、デポジットが元7000から5000に増加し、
張は、カード、行ってこの預金の事を取ります。

別のシナリオ:

最後には、様々な店舗での銀行の表情は、ATMの今月の利用状況、銀行のリーダーシップの配置は、この小さな赤いことを行います。
リトルレッドは、銀行の会計システムを開き、あなたのアカウントにログインし、
声明の中で毎月の入出金を開いて、
より多くのデータは、多くの場合、半分の時間を待つ必要があるため、「データのエクスポート」の赤いクリック
して、昼食に行くために立ち上がりました
文のランチバックは、リーダーシップに表示した後、少しのデータ処理を派生された
エリアC・アウトレットは、常に毎日休まの多くになりながら、リーダーシップが完了した後に取られる傾向にある日当たり取り出した現金のネットワークを参照してください、条件のリーダーシップに基づく資金のバランスのとれた使用が増加、現金の配信を減らすためにATMの現金配送エリア、エリアCを増やすことにしました。

OLTP段階からOLAPデータは、OLAPは、組織がOLAPデータによってシステムを最適化するために、技術者がその運用能力を高めるのに役立ちます。

OLTPとOLAPの間の差は、一般的に以下のものを持っています:

  1. OLTPは、多くの場合、OLAPよりも高速な応答時間を必要とします
  2. データの範囲に関連して、OLAP、企業の幹部は、多くの場合、包括的なデータ分析を必要とするいくつかの決定を、作るために使用し、関係のみ、自分の経験やデータ内にあるユーザーのために支援していますので。
  3. 異なる並列処理:特定のトランザクションでOLTPのために、あなたはまた、実行中に、同時に、多くの場合、OLAPのインスタンスを実行する人の数万を持っている、とあります。
  4. OLTPは、常に個人データの変更のための時間で、OLAPクエリで、全体的なデータを計算します。

ETL

ETLは、英語の略語抽出・変換・ロードは、抽出(抽出)を介して送信元端末から宛先プロセスへの変換(変換)、荷重(負荷)データを記述するために使用されます。この用語は、より一般的にデータウェアハウスETLに使用されるが、オブジェクトは、データウェアハウスに限定されるものではありません。

ETL変換を清掃した後、データウェアハウスにロード、抽出後のデータサービスシステムであり、その目的は、一緒に企業、きたないは、統合基準が統一されていないデータを分散させ、企業の意思決定のための分析の基礎を提供することで、ETLのBIあります(ビジネス・インテリジェンス)重要な側面を投影します。

MPP(超並列処理)

コンピュータ・システム・アーキテクチャの研究の分野では、大規模並列処理PEとの間に並列に動作によって得られた簡単な処理ユニット(PE、ProcessingEIement)の構成では、コンピュータ・システムの多数を指す(MPP、超Pmcessingパラレル)高いシステム性能。使用MPPアーキテクチャは、PEの一般多数のノード間で高性能な接続がネットワークPEを切り替え、各PEは、各PE間で、ローカルメモリを有し、メッセージパッシングによって通信します。大規模なシステム拡張のためのオーバーヘッドに起因する共有ストレージシステムを、還元並列PE MPPシステムの高度。一方。MPPプログラミングシステムは、より主パーティションとPEノード・コンピューティング・タスクとの間のマッピングでは、複雑です。

BIとビッグデータとの間の関係

従来のBIテクノロジータグ:ETL、データウェアハウス、OLAP、視覚的なレポート。

技術的なタグビッグデータ:Hadoopの、MPP、HDFS、MapReduceの、ストリーム処理。

技術分野では、従来のBI ETL、データウェアハウスの技術のいくつかが、OLAPは、視覚的なレポートは、将来的に大量のデータの問題を解決することは困難であるため、エッジ遅れているように見えることができますが、完全に無効にするか、データに代わるものではありません。一部の企業は、問題の解決に基づいてSAP HANA、直接ビッグデータエンジン最適化のFineBIを使用しています。すべてのエンタープライズBIのプログラムはまだ非常に人気があります後BIのセットは、持続します、ビッグデータの普及と応用は長いプロセスです。

VSビッグデータビジネスインテリジェンス

ビッグデータは、その最初の優先順位は、ビジネス上の問題を解決するものであり、空のトーク口ではありませんある程度、ビッグデータがビジネスを拡大し、最適化するために、新しいデータ技術手段を使用することで、伝統的な企業は、この問題を研究する人々のグループを収集する必要があり、必要性の誰かの特別な研究と探査。外の場合は、私は、どのようなシナリオに知りたい場合は内部、明らかに新しいビジネスモデルを考えて、効率を改善するために、ビッグデータの技術を使用しています。

現在のビッグデータがローカル値、業界の観点から、金融、銀行、インターネット、医療を生成することができ、科学的研究は、広範な展望を持っています。ビュー、広告、マーケティング、リスク管理、サプライチェーンの分野の観点からビッグデータは、大規模なデータは、ネットワークの最適化の新しい方法を提供することができ、そのような電気通信事業者として、特定の企業のための貴重な場所を果たしています。

必ずしもすべてのビジネスは、BATとして、それはR&Dを所有することができます何をすべきか、独自のビッグデータプラットフォームを構築する必要があり、企業が考慮に情報のレベルとコストを取る必要があり、選択は、このような伝統的な大企業として、購入することができます。中小企業はまた、アリ雲とAWSのように、レンタルすることができます。

事実が関係しているの時点では、BIアプリケーションは、大規模なデータ・アプリケーションよりもはるかに大きく、その普遍的な真実を持っています。伝統的なBIに比べビッグデータだけではなく、単純な関係PLUS、思考を必要とする、深いツール、および人事異動、BI担当者はビッグデータを言及していないのいずれか、彼らは、それがベストの新しいパッケージであることを一蹴します実際には、それはとても起こった。また彼らはとても背が高く、その上に大規模なデータに従事するという、短い自分自身を販売する必要がない、それは確かにほとんどのBIの遺産では思いました。

ビジネス・インテリジェンスとビッグデータバインディング

ビッグデータアプリケーションの上に構築されたシステム等の適切なビジネスインテリジェンス。
様々なクリーニングを介してデータ収集のためのビッグデータプラットフォームは、使用に利用可能なデータウェアハウス、BIシステムに構造化データに変換します。
一方、スパーク上の他の大規模データ・サービス・プラットフォーム・モジュール、FLINK他のコンピューティングフレームワーク。

1、迅速な分析。データ量の急増が増えに直面し、アドホッククエリのアナリストは、需要、BIは、迅速な解析機能を必要とします。この機能をサポートするには、2つの手段があります。冗長性の一次元、すなわち許容レベル交差の間、そのようなデータは、ユーザのタイプ+ +都市サービスラインによれば、ユーザ型都市+要約によると、都市の概要をPVことができ、統計的概要レベルのデータのさまざまなレベルを作ります要約3次元データ、すなわち、それは時間の技術的空間で、冗長です。欠点は、データShihaiの量は、サブライブラリーに加え、ハードウェアを行うときに、テーブルを追加するために次元を追加する必要があります。第二メモリは、コンピューティングストームモードを追加するために二次メモリ・ファイル・システムもミリ秒第二のクエリをサポートすることができるが、いくつかのデータは、しばしば、メモリに照会することができます。欠点は、この技術は唯一の少量のデータをサポートすることができるということです。

2、計算レイヤード。待ち時間の要件が異なっているデータとデータの量によって、我々は能力を計算することができますさまざまなテクニックを達成するために、3層に組織化されています。リアルタイムの最大値は、データの最小量は、リアルタイムスカラー要約するための技術を表すデータの各到来で算出トリガすることができるストーム(https://storm.incubator.apache.org/)として、流動層を使用して計算されます、商品の実際の販売など。毎日OLAPレポートのニーズを満たすために、ほとんどのアプリケーションでは、従来の完成オラクル、Oracleで、ブロック層の計算のデータの適度な量を使用して、より高いリアルタイム、。最低のリアルタイムは、バルク層を用いた場合のデータの最大量を長期累積データなど、そのような毎日の基礎となるデータ処理として、Hadoopの技術を表す、計算しました。

3、オープンサービス。同様のSaaS(サービスとしてのソフトウェア)の概念、データが処理し、直接呼び出しのいくつかの経験とデータ科学者を可能にするサービスのためのデータ解析パッケージ。サービス指向アーキテクチャは、現在の駅はちょうどインターフェイスに、または完全に変更することなく、いくつかの変更を行うことが楽屋、新しい指標やショーを必要とするとき、前面と背面を分離するのに役立ちます。

公開された58元の記事 ウォン称賛11 ビュー20000 +

おすすめ

転載: blog.csdn.net/wangxudongx/article/details/104942293