【大数据】学习大数据前需要掌握的知识

一谈到大数据技术,很多人首先想到的是数学,大概是因为数字在数学体系中稳固的位置吧,这也是理所当然的。大数据时代已经被抄的很热了,这个行业目前已经逐渐成熟,想学习大数据开发的人越来越多。每天我们在互联网都要存留大量的信息,但如何收集、整理这海量的信息,并产生价值,已经是各行各业都在探索的重要课题,且不说在海量数据中挖掘用户需求,预测未来的市场导向,就连政府的政务数据也要云计算、大数据。.

如果有编程背景这是最好的了,会节省很多学习时间,更容易理解。因为大数据环境比较复杂,并不像学习编程软件一样,机器安装一下,跟老师敲几行代码就可以了,但大数据可就要麻烦多了,至少要准备好虚拟化的集群环境,然后又要安装部署各种计算框架,所以需要有耐心,有一定解决问题的能力,坚持不懈,才有可能学好大数据。

由于工作关系,在我的周围存在这两类人,一是正在学校学习的大学生,二是在IT公司从事研发设计的工程师。他们在数学学习和应用方面出现了两个极端。在校大学生,特别是大一、大二的学生每学期都有一些诸如数学分析、线性代数、数论之类数学课程,尽管在课堂上可以听到莱布尼茨和牛顿的纠葛故事、笛卡尔的爱情故事,但是他们往往感到很迷茫,因为不知道所学的数学知识到底有什么用。对于IT公司的研发人员来说,他们在进入大数据相关岗位前,总是觉得要先学点数学,但是茫茫的数学世界,哪里才是大数据技术的开头?

线性代数这部分数学知识与大数据技术开发的关系也很密切,矩阵、转置、秩 分块矩阵、向量、正交矩阵、向量空间、特征值与特征向量等在大数据建模、分析中也是常用的技术手段。

在互联网大数据中,许多应用场景的分析对象都可以抽象成为矩阵表示,大量Web页面及其关系、微博用户及其关系、文本集中文本与词汇的关系等等都可以用矩阵表示。比如对于Web页面及其关系用矩阵表示时,矩阵元素就代表了页面a与另一个页面b的关系,这种关系可以是指向关系,1表示a和b之间有超链接,0表示a,b之间没有超链接。著名的PageRank算法就是基于这种矩阵进行页面重要性的量化,并证明其收敛性。

以矩阵为基础的各种运算,如矩阵分解则是分析对象特征提取的途径,因为矩阵代表了某种变换或映射,因此分解后得到的矩阵就代表了分析对象在新空间中的一些新特征。所以,奇异值分解SVD、PCA、NMF、MF等在大数据分析中的应用是很广泛的。

详细内容:【大数据学习】数学基础及应用——阿里云大学

课程主要介绍大数据中的数学基础:

  • 一、向量、矩阵介绍 
  • 二、向量在游戏引擎中的应用
  • 三、矩阵奇异值分解及其应用 
  • 四、导数、梯度介绍 
  • 五、最优化方法及其应用

阿里云开发者社区全面升级,一站式体验,用得更爽:(阿里云开发者社区首页

猜你喜欢

转载自blog.csdn.net/lsj960922/article/details/92625519