目次
1. ビッグデータの概念
ビッグ データは巨大なデータ セットで構成されており、その規模が非常に大きいため、取得、保存、管理、分析の点で従来のデータベース ソフトウェア ツールの機能を大幅に超えています。
ビッグ データ分析の課題には、データのキャプチャ、データ ストレージ、データ分析、検索、共有、転送、視覚化、クエリ、更新、情報プライバシー、データの出所が含まれます。
ビッグ データに適用できるテクノロジには、超並列処理 (MPP) データベース、データ マイニング、分散ファイル システム、分散データベース、クラウド コンピューティング プラットフォーム、インターネット、およびスケーラブルなストレージ システムが含まれます。
ビッグデータユニット:
最小の基本単位はビットです
すべての単位は、ビット、バイト、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB の順序で指定されます。
1024 (2 の 10 乗) のレートに従って計算します。
1バイト=8ビット
1 KB = 1,024 バイト = 8192 ビット
1 MB = 1,024 KB = 1,048,576 バイト
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
2. ビッグデータの特性
一般に、ビッグデータは主に、規模（Volume）、多様性（Varity）、高速性（Velocity）、価値（Value）の4つの代表的な特徴、いわゆる「4V」を持っていると考えられています。
1. ボリューム
ビッグデータの特徴はまず「大量」に表れ、その記憶単位はかつてはGBからTB、現在ではPB（1千T）、EB（100万T）、ZB（10億T）と多岐にわたります。測定単位。情報技術の急速な発展に伴い、データは爆発的に増加し始めました。ソーシャル ネットワーク (Weibo、Twitter、Facebook)、モバイル ネットワーク、およびさまざまなスマート端末はすべてデータのソースとなっています。タオバオの約 4 億人の会員は毎日約 20 TB の商品取引データを生成し、Facebook の約 10 億人のユーザーは毎日 300 TB 以上のログ データを生成します。このような大規模なデータをリアルタイムでカウント、分析、予測、処理するには、インテリジェントなアルゴリズム、強力なデータ処理プラットフォーム、および新しいデータ処理テクノロジーが緊急に必要とされています。
2. 多様性
ビッグデータ形式の多様性は、幅広いデータソースによって決まります。ビッグデータは大きく次の 3 つのカテゴリに分類できます。
1 つは、金融システム データ、情報管理システム データ、医療システム データなど、データ間の強い因果関係を特徴とする構造化データです。
2 つ目は、ビデオ、写真、オーディオなどの非構造化データで、データ間に因果関係がないことを特徴とします。
3 つ目は、HTML ドキュメント、電子メール、Web ページなどの半構造化データであり、データ間の因果関係が弱いという特徴があります。
3. 高速（ベロシティ）
これまでのアーカイブ、放送、新聞などの伝統的なデータ媒体とは異なり、インターネットやクラウドコンピューティングなどを通じてビッグデータの交換と普及が実現され、従来のメディアの情報交換と普及の速度をはるかに上回ります。 。ビッグデータとマッシブデータの重要な違いは、ビッグデータの方がデータ規模が大きいことに加えて、データ処理の応答速度に対する要件がより厳しいことです。バッチ分析ではなくリアルタイム分析により、データの入力、処理、破棄が即時に効果を発揮し、ほとんど遅延がありません。データの増加率と処理速度は、ビッグデータの高速性を示す重要な指標です。
4. 価値
これはビッグデータの中核機能でもあります。現実世界で生成されるデータのうち、価値のあるデータの割合は非常にわずかです。従来のスモールデータと比較して、ビッグデータの最大の価値は、無関係で多様な種類の大量のデータから、機械学習手法や人工知能手法を通じて、将来の傾向やパターンを予測および分析するための貴重なデータを掘り出すことにあります。データマイニング手法を深く分析して新しい法律や新しい知識を発見し、農業、金融、医療などのさまざまな分野に適用して、最終的に社会ガバナンスの改善、生産効率の向上、科学研究の促進などの効果を達成します。 。
3. ビッグデータの応用シナリオ
ビッグデータ アプリケーションの分類では、コアは 2 つのカテゴリに分類されます。
- データ統計分析:レポート、グラフ、大画面は、管理やビジネスの最適化などの意思決定行動のための基本的なデータ サポートを提供します。
- データ値マイニング:データ統計と機械学習テクノロジを使用して、データの潜在的な関係をさらに掘り出し、プロセスの最適化と効率向上のためのよりインテリジェントな意思決定サポートを提供し、データ マイニングの結果に基づいてデータ モデリングを実行して、予測、早期警告、ビジネス価値を高めるアプリケーションがさらに増えました。
**企業のデータ分析テクノロジーのアーキテクチャ
業界によると、次のようになります。
ビッグデータはあらゆるところに存在し、ビッグデータはさまざまな産業に適用され、社会の生産と生活を大きく促進します。
1. セキュリティの分野: 政府はビッグデータ技術を使用して強力な国家安全保障システムを構築でき、企業はビッグデータを使用してサイバー攻撃に対抗でき、警察はビッグデータを使用して犯罪を防止できます。
国家統合政府ビッグデータシステムの構築
2. 金融業界：ビッグデータは、高頻度取引、社会感情分析、信用リスク分析の 3 つの主要な金融イノベーション分野で重要な役割を果たしています。
金融業界におけるビッグデータ分析の要件とシナリオの適用
3. 新しい小売業：ビッグデータは私生活にも応用でき、各人に関連付けられた「パーソナルビッグデータ」を使用して、個人の生活行動や習慣を分析し、より思いやりのあるパーソナライズされたサービスを提供できます。例: Douyin はあなたの好きな動画をおすすめします。
新しい小売モデルにおけるアルゴリズム モデルとパーソナライズされた推奨事項
4. 生物医学: ビッグデータは、疫病の予測、スマートな医療、健康管理の実現に役立つだけでなく、DNA を解釈して生命の謎についてさらに学ぶことにも役立ちます。
医療業界におけるビッグデータ分析の役割と難しさ
5. 運輸業界：ビッグデータを活用して交通ネットワークを最適化し、輸送効率を向上させ、コストを削減します。
スマート交通のビッグデータ解析の特徴と応用
6. 教育ビジネス: データ収集は教育ビッグデータのマイニングと分析の重要な画期的な方向性です
教育ビッグデータ分析のデータ取得と活用
ビッグデータの価値はそれをはるかに超えており、将来的には重大かつ広範囲に影響を与えるでしょう。
4.ビッグデータの5つの分野
ビッグデータの 5 つの中核領域は、データのストレージとコンピューティング、データ管理、データの流通、データのアプリケーション、およびデータのセキュリティです。現在、5つのコア領域はそれぞれ異なる開発状況を示しており、データ要素戦略の新たな状況のもとで、開発の方向性がさらに明確になります。
ビッグデータ産業の 5 つの中核分野
5つの中核分野の開発状況と新たな情勢下での開発方向
| 開発状況 |
新しい形での開発の方向性 |
|
|---|---|---|
| データストレージとコンピューティング |
大量のデータの効率的な保存と計算 |
運用保守コストの削減と処理効率の向上 |
| データ管理 |
主要産業が重要なデータの管理を実現 |
あらゆる業界でグローバルなデータ管理を実現 |
| データフロー |
ポイントツーポイント循環経路の予備調査が完了 |
社会全体の標準化された循環 |
| データアプリケーション |
中核的なビジネス分析とトップレベルの意思決定をサポート |
グローバル ビジネスを非帰納的な形で組み込む |
| データセキュリティ |
外部規制とリスク管理の内部化を促進する |
安全な左シフトのためのインテリジェントなガバナンス |
5. ビッグデータ開発の展望
過去1年間、我が国は政策、人材、資金を増やし続け、その後のビッグデータの発展に強力な推進力を注入してきました。
政策の面では、中央政府と地方政府はビッグデータ産業の展開、デジタル技術、データ要素市場、データセキュリティを強調する一連の支援文書を発行している。
- 中央レベルでは、2021年末に「第14次ビッグデータ産業発展5カ年計画」が公布され、今後5年間のビッグデータ産業発展の行動計画が明確になった。2022年、党中央委員会と国務院は「ファクター市場配分の総合改革試行計画の全体計画」、「全国統一大市場の建設加速に関する意見」、「国家統一大市場の建設加速に関する意見」などの文書を相次いで可決した。 「データ要素の役割をより良く果たすためのデータ基本システムの構築」およびその他の文書では、我が国の発展のためにデータ要素の価値を解放し、良好な政策環境と明確な開発目標を提供することの必要性と緊急性を繰り返し強調してきました。私の国のビッグデータ。
- 地方レベルでは、31の省（自治区および直轄市）がビッグデータ特別計画とデジタル経済マスタープランの発表を通じて、各地でのビッグデータ技術、産業、応用の開発ロードマップとスケジュールを明確にし、次の重要性を強調している。ビッグデータを各所に配置、レイアウトの積極性。
中国ビッグデータ分析プラットフォームの各路線の政策方向性
人材面では、「ダブル一流」大学の半数以上がビッグデータ関連の専攻を設置し、多くの省が人材育成のための特別措置を積極的に実施し、人材供給能力が大幅に強化された。 。
- 大学教育に関しては、147 の「ダブルファーストクラス」大学のうち 87 校がビッグデータ専攻を開設しており、その割合は 59%6 でした。上海阮科大学の統計によると、ビッグデータ専攻の人気は、以下のような伝統的な人気専攻を上回っています。ソフトウェア工学。
- さまざまな省がビッグデータ人材の育成に向けた特別な取り組みを積極的に実施しており、例えば、広東省は「10万人」の産業デジタル化コンプライアンス人材育成活動を実施、江蘇省は「ハイテク、先進、不足」人材のカタログを策定し、江蘇省は人材思考体系を構築している。福建省は明らかに、県レベル以上の地方人民政府に対し、ビッグデータ人材育成計画を策定することを義務付けている。
資金に関しては、多くの州が特別基金の設立や優遇税制の導入などにより、ビッグデータ企業とそのアプリケーションに的を絞った支援と育成を提供してきました。例えば：
- 寧夏回族自治区は、基準を満たす地域内の高品質ビッグデータ企業に最大300万元の財政支援を提供する。
- 山東省、黒竜江省、その他の省は、省内の県レベル以上の人民政府に対し、ビッグデータ関連企業を支援する特別資金の全体的な手配を毎年義務付けている。
- 浙江省、広東省、重慶市などはビッグデータ企業に関する一連の減税・免除政策を打ち出した。
- 江蘇省は、産業企業の「スマートトランスフォーメーションとデジタルトランスフォーメーション」を支援するために、毎年省レベルで12億元の特別基金を手配している。
- 貴州省、遼寧省、河北省、雲南省などは、建設成果が目覚ましいビッグデータ活用プロジェクトに1000万～3000万元の補助金を出している。
ビッグデータ分析の業界地図
