大規模なデータフローを実行します

背景のビッグデータの時代:

      最初のビッグデータの時代は、世界有数のコンサルティング会社である提案マッキンゼー、ビッグデータは、物理学、生物学、生態学や環境、軍事、金融、通信、他の産業の分野でいくつかの時間のために存在し、

           しかし、理由は近年のインターネットや情報産業の発展には懸念を引き起こしました。

                もう一つの大きな破壊的な技術革命後のクラウドコンピューティング、インターネットやIT業界などのビッグデータ。クラウドコンピューティングは、データ・ストレージ・主に資産、場所及びチャネルアクセスを提供します

                    データは本当に貴重な資産です。内部ビジネス情報、インターネットの世界コミュニティの商品物流情報、

                         インターネット情報、位置情報の世界では、人間の相互作用は、その数は、これまで既存のエンタープライズITアーキテクチャとインフラの運搬能力を超えているだろう

                              実適時の要件は、既存のコンピューティングパワーをはるかに超えています。データ資産の目録を作成する方法、

                                  これは、クラウドコンピューティングは、内側の魂と必然的なエスカレーション方向で、企業の意思決定だけでなく、個人的な生活サービスがビッグデータの問題の核心である、国家の統治です。

背景の説明:

     2012年に入社、ビッグデータ(ビッグデータ)の単語がますます言及されている、人々の洪水を記述し、生成された情報爆発の時代を定義するためにそれを使用するビッグデータ時代のデータを、

そして、名前は技術開発と技術革新に関連付けられています。

     それは「にされているニューヨーク・タイムズ」、「ウォールストリートジャーナル」コラムカバーは、ニュースのホワイトハウスの公式ウェブサイトに、国内のインターネットセミナーをテーマにしたサロンの数に登場しました

香りのさえ感覚国家証券、国泰Junan、銀河証券及びその他の投資推奨をレポートに書かれました。

     データが急速に拡大して決定する、大きくなっている企業の将来の隠された危険性の問題をもたらしている多くの企業がデータの爆発的な成長を実現しないかもしれないが、開発を

時間が経つにつれてしかし、より多くの人々は、企業のデータの重要性を実現します。

     2012年2月の「ニューヨーク・タイムズ紙は」「ビッグデータ」は時間は、商用、経済などの分野では、来ているという列が書いたように、

決定は、ますますデータと分析に基づいて作られたのではなく、経験と勘に基づいて行われます。

     ハーバード大学の社会学の教授ゲイリー・キングは言った:「これは革命で、膨大なデータリソースすべてのフィールドは、プロセスを定量化するために始めるように、

学界、ビジネスや政府かどうか、すべての領域は、このプロセスを開始します。"

 

ソース:

                          1.爬虫類; 2.統合異種データ・ソース(やかん)などが挙げられます。

 

II:ストレージ:

                1.HDFS; 2.hbase; 3.hire等。

III:処理(計算値):

                        (除く、データの量を減らす、低減メモリフットプリントをデータをフィルタリング)

                                MapReduceの火花のように。

4:再びストレージ:MASQL:

                  発展方向:可視化を形成する3つの方向性:

                                                                             達成1.jzee方向; 2.nodejs構築システム; 3.pythonフラスコ構造。

 

                 発展方向:機械学習、人工知能。

 

         

 

おすすめ

転載: www.cnblogs.com/xuezu2018/p/11564326.html