大数据的特征及开发流程

一、特征

      数据量大：任何时候的任何事都可以看作为数据，都可以以数据的形式存储或者处理。

      数据多样性：数据类型多种多样，数据分为结构化数据和非结构化数据，结构化就是存储在数据库或者文本数据，非结构化数 据比如视频，音频，图片等数据

      价值密度低：海量的数据中有价值的可用的数据比较少

      高速：数据处理的速度快

二、开发流程

获取数据：从数据库中获取，网络爬虫

分析数据：又分为离线分析和实时处理。

       离线分析：

               概述：对数据的实时性要求不高，该数据可以一段时间处理一次，比如：今日景点总客流量

               技术：Hadoop，Hive，SparkSQL，HBase
       实时处理：

                概述：对数据的实时性要求很高，需要一直监控数据源变化，数据源数据发生变化就处理一次。比如当前在景点游客数量

                技术：Flume，kafka（redis），storm，sprakStreaming