ビッグデータのアーキテクチャと技術 - (1) ビッグデータの概要

1.1 ビッグデータ時代

1.1.1 情報化の第 3 の波

元IBM CEOのガースナー氏によると、IT分野では15年ごとに大きな変化が起こる

• 1981 年 8 月 12 日、IBM は最初のパーソナル コンピューターである IBM PC5150 を発売しました。
• IBM5150 コンピュータの重量はそれぞれ約 11.34 キログラム、キーボードのみの重量は約 2.7 キログラムで、16 ビット、4.77MHz の Intel 8088 マイクロプロセッサーと 16KB (最大 256KB まで拡張可能) のメモリを搭載しています
  。
• オーディオカセットを使用してデータをダウンロードして保存できるほか、5.25インチフロッピーディスクドライブも利用可能で、Microsoft社のディスクオペレーティングシステム（X86-DOS）、表計算ソフトVisicale、文字入力ソフトEasywriterがインストールされています。
• IBMはコンピューター業界のリーダーで、ロゴが青いことから「ビッグブルー」とも呼ばれています。
• 1981年にIBMパーソナルコンピュータが登場すると、発売されるやいなや大人気となり、パーソナルコンピュータ市場の3/4を占めました。IBM は、パーソナル コンピュータの最も収益性の高い部分は、数十ドルかかるソフトウェアではなく、数千ドルかかるハードウェアであると誤って信じていました。パソコンを早く発売するために、IBM には独自のオペレーティング システムを開発する時間がなかったため、他社からの入札を募りました。
• この時、ビル・ゲイツはチャンスを見て、オペレーティング・システムをIBMに売りました。しかし、賢明なビル・ゲイツはIBMにオペレーティング・システムの買収を許可せず、その代わりに各IBMパーソナル・コンピュータからささやかなロイヤルティを徴収しました。
• ビル・ゲイツはIBMと協力しながら新しいオペレーティングシステム（Windows）の開発に尽力し、Windowsが発売されるとマイクロソフト帝国が形成されました。
• 1994 年 4 月 20 日、最初の 64K 国際専用線が中国に接続され、これは中国が国家として国際インターネットに参入する始まりとなったため、中国のインターネットにとって記念すべき出来事となりました。
• 1995 年に北京と上海の間に 64K の国際専用線が開通し、中国は国際インターネットへのフル機能のアクセスを実現しました。

1.1.2 ビッグデータ時代を技術的に支える情報技術

1. ストレージデバイスの容量は増加し続けています
   
2. CPUの処理能力が大幅に向上
   
3. ネットワーク帯域幅は増加し続けています
   

1.1.3 データ生成手法の変化によるビッグデータ時代の到来

1.1.4 ビッグデータの発展の歴史

1.2 ビッグデータの概念

1.2.1 大量のデータ

• IDC の推定によると、データは年間 50% の割合で増加しており、2 年ごとに 2 倍になることを意味します (ビッグデータのムーアの法則)
• 過去 2 年間に人間が生成したデータの量は、以前に生成されたデータの全量に相当します。
• 2020 年までに世界のデータ量は合計 35ZB になると推定されており、2010 年と比較するとデータ量は PB EB ZB の約 30 倍に増加します。

1.2.2 さまざまなデータ型

• ビッグデータは構造化データと非構造化データで構成されます
  • 構造化データの 10% が
    データベースに保存される
  • 非構造化データの 90% は
    人間情報と密接に関連しています

1.2.3 処理速度が速い

• データの生成から使用までの時間枠は非常に短いため、意思決定を行うために利用できる時間はほとんどありません。
• 1秒ルール：これも従来のデータマイニング技術とは根本的に異なります

1.3 ビッグデータの影響

1998年、チューリング賞受賞者で有名なデータベース専門家であるジム・グレイ博士は、古代以来、
人類は実験、理論、計算、科学研究におけるデータという4つのパラダイムを経てきたことを観察し結論付けました。

ビッグデータの時代は人間の考え方に大きな影響を与えています

• 最初の影響は
  
  ビッグデータ時代の後です。
  
• セカンドインパクト
• サードインパクト
  

1.4 ビッグデータの活用

ビッグデータはあらゆるところに存在し、金融、自動車、小売、ケータリング、電気通信、エネルギー、政府事務、医療、スポーツ、エンターテイメントなど、あらゆる分野にビッグデータが刻み込まれています。

1.5 ビッグデータの主要技術

核心は次のとおりです。データの保存と管理、データの処理と分析

ビッグデータテクノロジーの 2 つのコアテクノロジー:

• 分散ストレージ: 大量のデータのストレージ問題を解決する
• 分散処理: 大量のデータ処理の問題を解決する

1.6 ビッグデータコンピューティングモデル

• 最初のビッグデータ コンピューティング モデル:バッチ計算
  

• 2 番目のビッグ データ コンピューティング モデル:ストリームコンピューティング
  

• 3 番目のビッグ データ コンピューティング モデル:グラフ計算
  
  

• 4 番目のビッグ データ コンピューティング モデル:クエリ分析計算
  

ビッグデータ コンピューティング モデルとその代表的な製品:

1.7 ビッグデータ産業

ビッグデータ産業とは、ビッグデータによる組織管理と価値発見のサポートに関連するあらゆる企業の経済活動の集合体を指します。

1.8 ビッグデータ、クラウドコンピューティング、モノのインターネットの関係

1.8.1 クラウドコンピューティング

クラウドコンピューティングは大量データの分散ストレージと分散処理の問題を解決します

• クラウドコンピューティングの典型的な特徴
  • 仮想化
  • マルチテナント
• クラウドコンピューティングの概念: クラウドコンピューティングは、ネットワークを介してサービスの形で非常に安価なITリソースをユーザーに提供することです。
• クラウド コンピューティングの利点: 企業は独自の IT インフラストラクチャを構築する必要がなく、クラウド リソースをレンタルできます。
• クラウド コンピューティングの 3 つのモード:
  • パブリック クラウド: Baidu Cloud - すべてのパブリック向け
  • ハイブリッド クラウド: 一部は自分自身用、一部は外世界用
  • プライベート クラウド: China Mobile、China Telecom - 社内企業向け
    
• クラウドコンピューティングの主要テクノロジー
  • 仮想化
  • 分散ストレージ
  • 分散コンピューティング
  • マルチテナント
• クラウドコンピューティングデータセンター
  • データセンターはクラウド コンピューティングの温床です
  • さまざまなデータやアプリケーションは「空の雲」にあるのではなく、あらゆる場所のデータセンターにあります。
  • データセンターには、それぞれが独自の CPU、メモリ、ストレージを備えたコンパクトなスタンドアロン サーバーであるブレード サーバーが多数含まれています。
  • データセンターは大量のエネルギーを消費します

1.8.2 モノのインターネット

モノのインターネットとは、モノがつながったインターネットであり、インターネットの延長です。

• IoT層のアーキテクチャ:
  

• モノのインターネットの主要テクノロジー

  • 識別技術
  • 知覚テクノロジー

• モノのインターネットの応用 モノの
  インターネットは、スマート交通、スマート医療、スマートホーム、環境監視、スマートセキュリティ、スマート物流、スマートグリッド、スマート農業、スマート産業などの分野で広く利用されており、重要な役割を果たしている。国民経済と社会の発展を促進する。
  

• クラウド コンピューティング、ビッグ データ、IoT は IT 分野の最新の技術開発トレンドを表しており、これら 3 つは異なるものですが関連しています。