すべての新しい技術開発は、公共の究極のユニバーサルアプリケーションから学習するプロセスを通過します。新しいデータ処理技術、開発の後のほぼ十年として、ビッグデータ技術は、単に様々な産業に応用され始めています。しかし、メディアやパブリックビューは、ビッグデータ技術は謎で常にある、今後の鉱山富と魔法を予測しているようです。ターゲットスーパーマーケットなど、広範なビッグデータアプリケーションのように異なる時間と空間で行動ショッピングの顧客の次のユーザの購買行動を予測するために、クレジットカード会社によると、少女の妊娠かどうかを判断するために歴史によると買い物に。私たちはそのような「スマートシティ」、「インテリジェント交通」と「医療の知恵」ととても美しい夢を描写するためのビッグデータ技術。これらの記述ビッグデータ技術上の誰もが憧れと良いの期待に満ちているように。
私は2014年のビッグデータアプリケーションから、二つの重要な現象やアプリケーションの動向をまとめました。
ビッグデータ技術と宣伝は非構造化データを処理するために最も適していることを多くの人々;第1の現象は、SQL構造化データの処理を使用して優先アプリケーションにおけるビッグデータテクノロジー、増加した処理能力によってもたらされる課題に対処するためのデータ量であります（構造化データを処理するのに適していない）反対。私たちは、アプリケーションの増加と複雑で、一方、（PBが企業顧客のレベルを持っていますが、いくつかの）アップGBからTBまで、1が蓄積されたデータ量の増加で、企業は2つの課題に直面していることがわかりましたテクノロジー、コンピューティングパワーは、要件を満たすことができません。ビジネスに基づく年間のほとんどの企業は、このようDB2やOracleなどの従来のリレーショナル・データベースでは、独自のアプリケーションを開発するために必要なデータとアプリケーションの量の数が急速に増加している、これらのアプリケーションを実行している伝統的なデータベースは、より多くの時間を費やして、でものみ1TB場合従来のリレーショナルデータベース上で統計的な操作を実行するため、ビジネスロジックの複雑さへのデータは、も、今だけ毎週行うには、以前の毎日（毎日の統計）から減少しました。これは非常にビジネスの生産性の適時性を制限しています。ITシステム自体は、ますます企業のビジネストレンドになってきている下では、ITシステムの効率が低いことは、真剣に企業の競争力に影響を与えています。処理されるべきこれらのデータは、既存のアプリケーションもSQLベースで、事業構造化ビジネスデータです。これは、完全なSQLのサポートと程度の実用的なニーズを実行するためにSQLのパフォーマンスを向上させるためのHadoop技術開発上の分散SQL、だけでなく、スターリング技術のための客観的な理由です。
第2の現象は、特にこのようなセンサーや監視装置などの電子機器の普及で、強く成長している時系列データのリアルタイム処理の需要や必要性で、より多くの企業は、リアルタイムのデータを持っています。伝統的なアプローチは、機器によって生成され、統一されたデータベースの分析に記憶された電子データです。データや機器の増加成長すると、遅延は非常に伝統的になってきています。それはリアルタイムで処理されたときにデータを生成するために使用されるストリーム処理技術の使用が大幅に企業の速度と効率を向上させることができます。2014スター中央技術は、センサーへのユーザーから生成リアルタイムデータ内のデータを処理するために、より多くのストリーム処理クラスタを展開しています。
私は2015年にこれら二つのアプリケーションの傾向がより強くなるだろうと思います。エリア事業者、金融、物流、商業、運輸、エネルギー、放送及び電気の供給業者などの数は昨年を超える大規模なデータ・アプリケーションの概要の下に。
通信事業者
モバイルインターネット時代のオペレータは、多くの新たな課題に直面しています。マイクロ文字や音声とSMSの収入の他の移動通信事業者のAPP浸食の出現は、業務の流れがさらに重要です。一方、無線ネットワークサービスは、オペレータのコア競争力です。近年では、オペレータは、4Gを開発するためのネットワークを構築するに多額の投資をしています。4Gネットワークカバレッジが大きく、顧客満足度が低下する原因3Gまたは4G低下2Gに高または低品質ではありません。
新たなビジネスモデルとデータそれらが動作する方法を模索しながら、最後の1年か2年を探索した後、オペレータは、1は、運用効率を向上させるためのビッグデータ技術の使用で、ビッグデータプラットフォームの構築を二方向にまとめ。昨年、業務の効率化の観点から検証し、大規模なデータ、および新しいビジネスモデルは、探査にまだあります。当社のインメモリ・コンピューティング技術のスターリングが正常に成功し、完全に上海モバイルトラフィック管理システムに移行DB2、4時間に元のOracle 30時間から広東省モバイルビジネスデータ分析の減少の800個の以上の指標を計算しますTDHスターのリングに、運転効率は約5倍、元のクラスタの上に増加しています。私たちは、SQLのサポートを完了するためにアプリケーションを移行することを可能にし、そしてパートナーの前に、よく知られているHadoopのディストリビューションではなく、成功せずにアプリケーションを移行しようとしています。私たちは、これらのプロジェクトに移動する4G通信ネットワークの最適化プロジェクトの省や自治体に参加している、代わりに高速モデルの伝統的なTDH MPPデータベース・ネットワーク最適化モデルの確立と運用の高いパフォーマンスのスターリングと我々のパートナー、一方で、このような信号としてネットワーク内で見つかった問題、疑問ダウンは、オペレータが迅速に問題領域を識別するのに役立ちます。完全なSQL TDHを介して他の手の組み合わせで、最適なモデルやパラメータの最適化を見つけるために、ネットワーク信号の品質とカバレッジを向上させるためのネットワーク正確にきめの細かい調整を統計学的および機械学習アルゴリズムを提供しています。
金融
2013年と2014年に、国有銀行と合資銀行の一部が多かれ少なかれビッグデータ技術の用途を探求しますが、早期適用シンプルなストレージと取引履歴の照会および非構造化データの検索に限定、これは、重要なビジネスの銀行に与える影響はありませんでした。ビッグデータ技術が統合された銀行および外部のインターネット/政府のデータの独自の構造によって処理されたトランザクション・データは、それが顧客管理の改善を強化し、クレジットなどの大きなデータのリスクを減らすことができ、銀行の見通しに広まっています。2014年にこれらの見通しは、2015年には現実が今年探索するために応用が期待されているになっていませんでした。しかし、我々は2014年に銀行に実用的なアプリケーションの数を練習します。データウェアハウスへの補足としてこれらの用途において、TDH、効率改善のためのデータ分析。また、SQLのための私達の完全なサポートの恩恵を受ける、と合資銀行はTDHのHadoopプラットフォームの動作に移行するためにいくつかの洗練された信用リスクの制御ロジックを置くようになりました。これらのリスク管理モデルクライアントは、試されていた複数のデータベースとのHadoopディストリビューションMPP全体のパフォーマンスや機能には、彼らの要求を満たすことができませんでした。技術的な観点から、これらに関連するデータの量は、わずか数TBを分析するが、ビジネスの分析は事実とディメンションテーブル、テーブルの幅と数十バイトの何千ものよりも、いくつかの一層のシート数百人を含む、非常に複雑です。この場合は、従来のリレーショナルデータベースまたはMPPのデータベースは、ますますビッグデータのシーンの下で複雑な計算のために伸ばしつつある示し、銀行はより効率的なデータ処理ツールを必要としています。
速達
過去にITシステムによって生成された速達業界や圧力によって運ばれるデータの量は、みんなの注目されていません。近年では、電子商取引の急速な発展急速な拡大と宅配便業界の規模。宅配会社のための巨大な市場の需要は前例のない挑戦をもたらすために、「ダブル・10月は」会社の処理能力は年間適用される通常の圧力よりもはるかに高い発現します。そのため、「ダブル11」の倉庫の爆発を緩和する方法を、すべての宅配会社の問題を明示変更「遅いピース」されることは避けてください。
改善し、宅配便の大規模なデータの流れを解析することにより、研究に値する問題になる最適化するために、どのように、速達業界でも競争力を向上させるための重要な手段です。大量のデータの配信は、生産のあらゆる側面を生成し、その後、全国の受け入れと処理施設の能力、リアルタイムの最適化と調整を行うには、クラスの配送計画を運ぶこれらのデータを監視され、同社は、コストを削減することができるようになります。事業開発のための傾向を予測するために、これらのデータの分析、企業は高騰需要に対処する準備ができていることができるようになります。しかし、製造プロセスデータの大量、高並行性、複雑な機能の種類、高いリアルタイム要件の上位アプリケーションは、このような場合に延伸従来のデータベースのデータ配信。
私たちは一緒に仕事してTeamsunはあり、中国のポストEMSは配達部門、国のサッカー部門への投資、受信、保持部分を含むデータ処理センターと物流センターを（、表現のためのビッグデータプラットフォームを展開しないように低く、低くなっています配達、不着、Lanshouメンバー、アドレスは、処理のために）など、出荷されていない、出荷、密閉されています。ビッグデータプラットフォームESB（エンタープライズプロダクション・バス）を動的データベースと監視、およびリアルタイムデータクエリのリアルタイム、リアルタイム統計や指標にロードされたリアルタイム・データ・ストリームの処理クラスタをストリーミングします。この展開は、顧客にサービスを向上させるために、彼らは迅速かつ正確な速達メールのバックログ、紛失、破損、などなど大規模な宅配便事業の問題を識別できるように、リアルタイムでのビジネスのあらゆる側面を監視するためのツールを使用して簡単にできます品質。ビッグデータプラットフォームは、スムーズな2014「ダブル11」のデータ処理圧力をサポートしています。プラットフォームは、最新の生産データの宅配会社によると、今後は調整し、コストを削減する企業のための配送計画を最適化するのに役立ちます。
産業および商業
国の「経済家庭用ライブラリー」の構築における事業部門は、市場参加者の情報、年次検査、法執行機関のデータと12315件の苦情やその他のデータを大量に蓄積してきました。これらのデータの統計的分析は、ビジネス部門は、市場や経済状況を理解するのに役立ちます。
ビッグデータ技術の一つの簡単なアプリケーションは、データの品質管理と統計解析に使用されています。それは、データを手動で入力するので、誤りのある確率がない確率が、不可避であります。基本的なビジネス及び個人情報は、リレーショナルテーブルの多数に分散されているが、相互相関情報のある程度があります。大規模なクロスリファレンスデータと統計データを通して隠れたエラーを発見し、速やかに修正することができます。このアプリケーションは、インメモリコンピューティング技術のスターのリングを使用して、チェックデータと統計の全体量が大幅に改善作業効率、10分で行うことができます。
また、ビッグデータ技術はまた、市場関係者のシステム内の情報を照会するために使用され、ユーザーが同時クエリの数百万人を処理することができますし、数百ミリ秒以内にクエリまたは検索結果を返します。企業の歴史的なスナップショットを照会すると、ユーザーは、企業のライフサイクルの変化をマスターするために、企業の変更情報を追跡することができます。格納およびクエリの問題を解決するに基づき、我々はまた、当社の顧客はすぐにビジネスやビジネス関係者間との間の関連性を見つけるために、計算エンジンを活用するのに役立ちます。協会関係資本、在職期間、および確立ビジネス関係リポジトリに基づいて、これらの企業を確認するために、ライブラリ全体のデータをスキャンすることによって。
電力
総合電力企業情報構築の完了高速かつインテリジェント電源システムと、電力データ成長率ははるかに電力企業の期待を超えてしまいます。発電側からの例では、制御の程度は、このような高い周波数及び精度、大量のデータ取得およびより高い要求を処理するよう圧力、流量及び温度指標の精度を監視し、電力生産の自動化を向上させることができます。電気の側では、最初のコレクションは、そのデータ量の「指数」の変動の周波数を強化するためにもたらすでしょう。電力データの増加量ははるかに通常のリレーショナル・データベース・電力部門の処理能力を超えているでしょう。
私たちは、主に2014年に電気の電力部門のデータ処理側を助けます。意外なことに、我々は、検索/トランザクション処理を変更するには、技術的な観点から、電力データの統計解析は非常に複雑なSQL操作を必要とすることをストアドプロシージャ/フロー制御/例外処理/追加や削除など、OracleのPL / SQL拡張構文を多用し、見つかりました。アプリケーションの観点からは、これらのSQLロジックは、過去の傾向と電気の消費量、並びに線路損失の計算を使用して統計分析のために主に使用されます。私たちは、機械学習法で分析し、お客様を支援し、マクロ経済の動向や気候一定の相関関係をより多くの電力を使用することが判明、それはまた、すべての産業や企業のあらゆるビジネスの状況に関連しています。企業の消費電力と、それが企業のエネルギーの節約に見出すことが可能な産業の消費レベルの統計的比較して、電気の履歴データの分析は、省エネルギー対策や生産活動の変化の影響に見出すことができます。南電源局は、高エネルギー消費の大規模な開発で業界を促進するために、社会を導くために省エネの国民の意識を感作を目的とした省エネ企業や大電力、省エネ企業の補助金を識別するためのプラットフォームTDH統計を採用しました方法は、低消費電力、高効率の緑と調和のとれた発展に移行することができます。
我々はまた、ストリーム処理システムを使用して、我々とパートナーは、変電所にユーザーからの全供給ネットワークトポロジデータを格納する地図データベースを使用して、統一された電力分配ネットワークトポロジモデルを確立するために、電力セクターとしてパイロットトラブルシューティングシステムを展開しますリアルタイムのアラート、およびリアルタイムクエリグリッドトポロジは、迅速な判断・ロケーション・停電が発生し、影響力の範囲。これに基づき、電源障害が電源を復旧するための時間に、緊急修理チームに通知することができます。同時に、ユーザーが通知し、ユーザー、全体の配電網の包括的かつ直感的な把握との相互作用を強化するためのイニシアチブを取ることができます。
トラフィック
急速な経済発展に伴い、交通渋滞全国現象を増やす自動車はますます深刻な、情報によるトラフィック管理と道路の安全性を向上させるためにどのようにすることが重要な課題となっています。
最も一般的に使用される方法十レコードの数百万の各日発生州又は地方自治体車両データを介して、画像やビデオデータを捕捉、7×24時間デジタル監視装置を展開し、特定バヨネット方法です。このデータは、主に交通管理部門にリアルタイムの交通情報を提供するために使用され、この情報は、将来の参照情報旅行として公衆に解放することができます。同時にキー商用車、車両識別及び不正監視、速度の範囲、デッキ分析、リアルタイム分析アプリケーションのモニタリングなど、トラフィック管理の管理部門に役立ちます。私たちのパートナーや地域全体のトラフィック監視システムの省公安交通管理部門、車の記録のためのストリーミング計算クラスタを使用して、各県のバヨネットリアルタイム統計をトラフィックのリアルタイム収集を使用してキューを分散車両情報として展開監視、リアルタイム分析の多様性とは、より良好なトラフィック管理の効率を改善するために、2秒以内に情報システムの処理遅延を終了するために、上記アプリケーション、目的を達成します。
もちろん、運送業界、大規模なデータ・アプリケーションは、まだ始まったばかりであり、まだ始まったばかりか、データの大規模集中型のコレクションを完成しようとしているしています。ビッグデータ技術の強力な解析とマイニング機能の使用、将来が大きく、リアルタイムの交通情報の透明性を向上させ、トラフィックおよび輻輳管理のレベルを高め、事故の発生率を減らし、都市計画のための基準を提供することができます。
ラジオとテレビ
中国では、放送システムは、ネットワークベースの映画やテレビへの大きな挑戦を再生するには、伝統的なラジオやテレビ事業者がデジタル波の影響を経験しています。メディアの生存と競争優位の将来のネットワークを得るために、今では「精密タイプ」ラジオやテレビのコンテンツや通信事業者を作成するには、ユーザーを傾ける必要がある、ということ。この文脈では、中国メディアは痛感。中国メディアは、データインフラは大規模な、マルチソース、データ・ストレージ、管理要件、サポートされているハードウェアプラットフォームのリニアなスケーラビリティの多様性を満たすことができるようにする必要がある必要があり、高速リアルタイムデータ分析、ビジネスへの迅速な効果を提供します。中国メディアは、ビッグデータプラットフォームを展開する私たちを選択した、その分析にデジタルテレビシステムを開発しました。システムは、データの完全な量に基づいて、リアルタイムのリストを提供することができます。時間（時間/日/週）、ユーザーとオンデマンドプログラム、ライブ放送、番組カテゴリ、検索キーワードやその他のランキング分析のための他の寸法、チェーン分析、トレンド分析までのように。システムはまた、視聴数に応じて膜、ドラマや他の寸法の時間、チャンネル、タイプを読み取る完了する等番号、新しい、エンドユーザ分析の数を参照することができます。また、ユーザーの行動データ分析、スマートリコメンデーション・エンジンを使用している顧客のための可能な中国のメディアの正確な肖像画のコレクションを、観客に先行するシステムは、彼らがそれぞれのユーザの推薦に合わせ、引っ張りだこされるテレビを予測する必要があることを知っています顧客のロイヤルティを高めるための製品の範囲を向上させるためのプログラム。また、このシステムはまた、その後の映画やテレビ番組制作のコンテンツ開発の準備をするために、分析の観測のために視聴者の好みを理解するために、役者、プロット、トーン、およびメタデータの他のタイプの聴衆によってタグ付けすることができます。デジタルTVシステムのためのビッグデータ分析プラットフォームのおかげで作られたコンテンツへ送信されてから、中国のメディアコンテンツベースの「壮大なターンを。」
Eコマース
電子商取引の分野では、ビッグデータは、キー技術サポートサービスは、ように、マーケティング、顧客ケアとの多くの側面で重要な役割を果たしているになってきたといえます。我々錦江電気の供給業者の協力、ビッグデータプラットフォームの使用は、電力供給のための製品の推奨システムを作成します。顧客のラベルシステムに基づいて、当社のビッグデータプラットフォーム。メンバーや来場者の電気の供給者が多数に頼って、RFMモデルと顧客情報に基づいて学習とマイニングの顧客行動データの深さは、顧客の消費者の嗜好、顧客の年齢、家族の状況、さらには星座、干支、消費の頻度、お金、走行モードなどを形成しますその他の情報は、ラベルの顧客に含まれています。そして、顧客タグクラスター分析、顧客セグメンテーションの形成。だから、私たちは、正確な顧客基盤、精密マーケティングの実装を取得することができるようになります。同時に、我々はまた、顧客が製品のラベリングシステムを構築するのに役立ちます。ベースのホテル、観光や製品機能の他の種類、建設・鉱山製品ラベル、およびいくつかの掘削機械学習プロセスの後、顧客のラベルと製品は、インテリジェントな推薦システムを構築し、ラベルの重みの様々なタイプの分析によると、ドッキングにラベルを付けます。
推薦システムはインテリジェントに、製品をお勧めすることができます基本的なリンクの電力供給と正確なサービスシステムのためのケアシステムの重要なメンバーとなってきています。
まとめと展望
2014年のHadoopビッグデータ業界のアプリケーションをまとめ、我々は予想していなかったの前にいくつかのアプリケーションは、単純なアプリケーションであってもよく、いくつかは、複雑なデータ分析とマイニングタイプのアプリケーションです。ビッグデータ技術自体は、新しいデータ処理・解析技術であり、従来技術を超えるデータマイニングの力と深さを処理する能力を持っている、しかし、技術そのものの値がこれらの機能をどのように適用するか、上位のアプリケーションを表示する必要性によってもたらさ現実を問題解決には、すべての産業が対象を模索しているということです。2015年には技術が出現するビッグデータに基づいて、革新的なアプリケーションの数が多いことが予想されます。
昨年の同時期には、ビッグデータ技術が大幅に業務効率を改善することが示されている、我々はカウントするのが難しい大規模な企業データが直面している問題を解決するためのHadoop技術上のSQLを使用して、今年将来に期待して、アプリケーションの一般的な傾向になります継続的な改善と、常にSQLのサポートレベルのパフォーマンスを向上させる、大規模なエンタープライズ・アプリケーション・データは、解放の運用効率と生産性を向上させるために、データ処理技術を構造化、すぐに結果を取得します。
2014年はビッグデータテクノロジーは、年を着陸始めている、我々はビッグデータのテクノロジーや製品の巨大な需要を参照してください。私たちは2015程度とビッグデータの開発を越えて非常に楽観的です。ビッグデータの傾向の急速な発展は、より多くの企業、政府機関や公共機関がビッグデータソリューションを必要があるだろう、値が発掘されていない、あまりにも多くのデータがあり、長い間継続されます。顕著な普遍的ビッグデータ製品は、人々がデータ処理の問題を解決するため、私たちは一緒に仕事しましょう！
推奨読書
40 +すべてここにビッグデータ開発[W]チュートリアルの年俸！
大規模なデータ配列を共有するためのトレーニングプログラマはシェルで説明します