大数据产业:从不同视角领略大数据对人类社会、经济、商业、政务等各个方面的深远影响

作者:禅与计算机程序设计艺术

1.简介

大数据领域的首富,著名的巴菲特就是在这个行业中脱颖而出的一位。他提出的“5Vs”理论是建立在海量数据的基础上,充分挖掘、整合、分析、交互和反馈五个核心价值观之上的。
  
  本系列文章旨在分享大数据领域的前沿技术发展趋势,并结合其中的具体案例进行深入剖析。希望读者能够从不同视角领略大数据对人类社会、经济、商业、政务等各个方面的深远影响,增强对大数据技术的理解、把握、运用,进一步促进科技进步和经济发展。
  欢迎大家提供宝贵意见,共同推动大数据领域的发展。

2.核心概念术语说明

1. Hadoop
    ① Hadoop是由Apache基金会发起的一个开源项目,用于分布式存储、数据处理和超大规模计算。它提供了Hadoop Distributed File System (HDFS)和MapReduce计算框架。Hadoop具有高容错性、可靠性、弹性扩展性和良好的伸缩性。
    ② Hadoop生态系统包括Apache Hive、Apache Pig、Apache HBase、Apache Mahout、Apache Spark等多个开源产品。其中,Hive可以用来进行数据仓库建设、ETL和数据查询;Pig可以用来进行大规模数据处理;HBase是一个列式数据库,可以用来快速检索海量的数据;Mahout是一个机器学习库,可以用来实现复杂的机器学习算法;Spark是一个快速、通用的集群计算系统,可以用来进行实时数据处理、实时流处理和离线分析。
  2. 数据仓库
    ① 数据仓库是集成来自多个业务部门或系统的数据集合,目的是为了加快信息获取速度、改善决策能力及满足用户需求,一般采用星型模型或雪花模型建模。数据仓库通常包括维度和度量两个层次。
 

猜你喜欢

转载自blog.csdn.net/universsky2015/article/details/132138106