最初の章では、ビッグデータの概要を説明します
1.1ビッグデータの時代
1.1.1情報技術の第三の波
情報技術の波 | 発生時間 | マーク | この問題を解決します | 企業を代表して |
---|---|---|---|---|
最初の波 | 1980 | パーソナルコンピュータ | 情報処理 | インテル、AMD、IBM、アップル、マイクロソフト、レノボ、デル、HP、など |
第二波 | 1995年前にした後、 | インターネット | 情報伝達 | ヤフー、グーグル、アリババ、百度、テンセントなど |
第三の波 | 2010年以降 | 物事、そして大規模なクラウドデータ | 情報爆発 | アマゾン、グーグル、IBM、VMWareの、Palantir、Hortonworks、Clouderaの、アリ雲など |
ビッグデータ時代のための技術サポートを提供するために、1.1.2情報技術
アドレス情報保存、情報伝達や情報、情報技術の分野では、人間社会の進歩の3つのコアの問題を処理するビッグデータの時代の到来のための技術サポートを提供するための情報技術の必要性。
1.記憶装置容量の増加
データは、ストレージデバイス、容量の大幅な増加をエスカレートプロセスを製造することは、速度は、価格が下落してメモリを増加し続け、科学技術の継続的な進展に伴い、ディスク、テープ、光ディスク、フラッシュメモリやストレージメディアの他のタイプです。
フラッシュメモリは、第1のフラッシュメモリ製品の1989年の誕生から出てくるの半導体メモリは、メモリ技術は、新たな突破口を獲得し続け、徐々に市場でのコンピュータのストレージ製品に彼らの重要な役割を確立点滅し始めています。フラッシュメモリは、不揮発性メモリでも停電データが失われることはありませんであるため、永久的な記憶装置としては、小型、軽量、低消費電力、優れた耐振動性及び他の優れた特性を有しています。
技術の成熟度曲線(重要)
2.CPU処理能力が大幅に増加しています
そして、CPUの処理速度も促されるデータの量を増やす上で重要な要因である改善。そして、我々はすぐに大量のデータを蓄積して対処することができるように大幅にプロセスデータへの能力の向上、パフォーマンスのCPUを向上させます。
3.ネットワーク帯域幅が増加しています
モバイル通信のブロードバンドネットワークが急速に、3Gネットワークは、基本的なユニバーサル、4Gネットワークのカバレッジの増加、様々な端末装置は、いつでもどこでもデータを送信することができます。ビッグデータの時代、情報伝達は、もはや初期のネットワークの開発のボトルネックと制約を受けません。
生成されたデータは、ビッグデータの時代の到来につながっ1.1.3の変更方法
数据产生方式的变革,是促成大数据时代来临的重要因素。总体而言,人类社会的数据产生方式大致经历了3个阶段:运营式系统阶段、用户原创内容阶段和感知式系统阶段。
1.1.4 大数据的发展历程
大数据的发展历程总体上可以划分为3个重要阶段:萌芽期、成熟期和大规模应用期。
1.2 大数据的概念
大数据不仅仅是数据的“大量化”,而是包含“快速化”、“多样化”和“价值化”等多重属性。
大数据的四个特征:
“4V”:
1.数据量大(Volume)
2.数据类型繁多(Variety)
3.处理速度快(Velocity)
4.价值密度低(Value)
1.3 大数据的影响
1.大数据对科学研究的影响
图灵奖获得者、著名数据库专家Jim Gray博士观察并总结人类自古以来,在科学研究上,先后历经了实验、理论、计算和数据四种范式。
2.大数据对思维方式的影响
在思维方式方面,大数据完全颠覆了传统的思维方式:
-全样而非抽样
-效率而非精确
-相关而非因果
3.大数据对社会发展的影响
在社会发展方面,大数据决策逐渐成为一种新的决策方式,大数据应用有力促进了信息技术与各行业的深度融合,大数据开发大大推动了新技术和新应用的不断涌现。
4.大数据对就业市场的影响
在就业市场方面,大数据的兴起使得数据科学家成为热门职业。
5.大数据对人才培养的影响
在人才培养方面,大数据的兴起,将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。
1.4 大数据的应用
大数据无处不在,包括金融、汽车、餐饮、电信、能源、体育和娱乐等在内的社会各行各业都已经融入了大数据的印迹。
1.5 大数据关键技术
所谓大数据技术,是指伴随着大数据的采集、存储、分析和应用的相关技术,是一系列使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预测结果的一系列数据处理和分析技术。
从数据分析全流程的角度,大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。
1.6 大数据计算模式
1.7大数据产业
1.8大数据与云计算、物联网
云计算
1.概念
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。(云计算就是利用我们所有计算资源把它组合起来按需提供服务,用户按需付费使用资源,可以什么时候需要多少买多少)
2.关键技术
云计算关键技术包括:虚拟化、分布式存储、分布式计算、多租户等
3.数据中心
云计算数据中心是一整套复杂的设施,包括刀片服务器、宽带网络连接、环境控制设备、监控设备以及各种安全装置等。
数据中心是云计算的重要载体,为云计算提供计算、存储、带宽等各种硬件资源,为各种平台和应用提供运行支撑环境。
全国各地推进数据中心建设。
4.应用
5.云计算产业
云计算产业作为战略性新兴产业,近些年得到了迅速发展,形成了成熟的产业链结构,产业涵盖硬件与设备制造、基础设施运营、软件与解决方案供应商、基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)、终端设备、云安全、云计算交付/咨询/认证等环节。
物联网
1.概念
物联网是物物相连的互联网,是互联网的延伸,它利用局域网络或互联网等通信技术把传感器、控制器、机器、物以及人员等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。
2.关键技术
物联网中的关键技术包括识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术等。
3.应用
物事は広く、インテリジェント交通、医療知恵、スマートホーム、環境モニタリング、スマートセキュリティ、スマート物流、スマートグリッド、インテリジェント農業、知的産業と国民経済と社会発展の他の分野で使用されているが推進する上で重要な役割を果たしました。
4.産業
誘導コアコンポーネントベンダー、知覚層の端末機器プロバイダ、ネットワークプロバイダ、ソフトウェア及び6つの分野の業界ソリューション・プロバイダー、システムインテグレータ、事業者やサービスプロバイダーを含め、物事の完全な産業チェーン。
ビッグデータとの関係は、ネットワーキング、クラウドコンピューティング
クラウドコンピューティング、ビッグデータやモノのインターネットは、ITの分野の技術、3異なるが関連の最新動向を表しています。