浅谈大数据算法

大数据算法大家已经不陌生了,到研究生阶段听到最多的就是什么是大数据、大数据的特点,在这个大数据的背景下的算法有什么特点,是不是就是把spark、flink跑起来就叫大数据了,其实并不是这样的。

一、大数据的定义

1、定义1 (Kusnetzky, Dan. What is “Big Data?”)

所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、
管理、处理、并整理成为人类所能解读的信息

2、定义2 (维克托·迈尔-舍恩伯格、肯尼斯·库克耶.“大数据时代”)

不用随机分析法(抽样调查)这样的捷径,而采用所有数据的方法

3、 定义3 (“大数据”(Big data)研究机构Gartner)

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力
和流程优化能力的海量、高增长率和多样化的信息资产。

二、大数据的特点

在这里插入图片描述

三、大数据的应用

  • 预测
  • 推荐
  • 商业情报分析
  • 科学研究

四、大数据上问题求解计算问题的过程

在这里插入图片描述

五、大数据算法

1、大数据算法的定义

在给定的资源约束下,以大数据为输入,在给定时间约束内可以生成满足给定约束
结果的算法。

2、大数据算法可以不是:

  • 精确算法
  • 内存算法
  • 串行算法
  • 仅在电子计算机上运行的算法

3、大数据算法不仅是:

  • 云计算
  • MapReduce
  • 大数据分析和挖掘的算法
  • 数据库中的算法

4、大数据算法的难度

(1)访问全部数据时间过长
读取部分数据
(2)数据难于放入内存计算

  • 将数据存储到磁盘上
  • 仅基于少量数据进行计算

(3)单个计算机难以保存全部数据,计算需要整体数据
并行处理
(4)计算机计算能力不足或知识不足
人来帮忙
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/Prototype___/article/details/125435113