【自学与引导】 大数据技术 总结篇

本文是个人分类『数据科学与大数据技术』的第一篇,技术学习总结篇。

———————————————————————————————————————————————————————

数据科学与大数据技术,专业代码080910T

背景:2016年2月,教育部首批中国三所高校开设的这门本科专业。可以说在中国这个大环境来说,数据科学是兴起的一门专业,为何兴起,那是因为在如今这个大数据爆炸的时代,这方面的人才在市场上的缺口已经越来越大;而在国外,这东西早已不是什么新的玩意儿,因为这东西十年前就有了。

科目范畴:交叉学科,三大支撑性学科:计算机、数学与统计学。

拓展性学科主要看你日后从事的领域场景,比如经济、金融,生物、医学,社会学管理学等等。可以说,有数据的地方就有用武之地。

市场岗位

1、大数据的系统架构(掌握计算机体系结构、网络架构、编程范式、文件系统、分布并行处理)

2、大数据的系统分析(人工智能、机器学习、数理统计、矩阵计算、优化方法)

3、hadoop开发(大数据存储问题)

4、数据分析(至少需要熟练SPSS、STATISTIC、Eviews、SAS、大数据魔镜等数据分析软件中的一门,至少能用Acess等进行数据库开发,至少掌握一门数学软件如matalab、mathmatics进行新模型的构建,至少掌握一门编程语言。优秀的分析师可以掌握业务、管理、分析、工具、设计兼顾)

5、数据挖掘(数学知识要强一些,编程语言要掌握Java、Python)

6、大数据可视化(有点高级哈哈,涉及D3啊R啊等一些编程语言和Excel以及一些可视化工具,可以自行查阅一下或者看下面提及到的技能图谱)

OK,了解这些够了,我们看一下StuQ所总结的大数据工程师所掌握的技能图谱:

然后,

知识体系

本人根据网络信息来源,归纳了关于这门专业的高校课程体系。无论是自学还是科班,以下的学习内容都是和大数据息息相关的。

数学基础

1、数学分析,推荐使用华东大的教材,习题用谢惠民版的<数学分析习题课讲义>

                        这个科目比高等数学要偏向理论推导而非应用。

2、高等代数,推荐使用蓝以中版的。

3、离散数学,推荐使用"十二五"规划的邓辉文<离散数学第三版>+配套的离散数学习题解答。后一本好像只剩二手

                        或者是著名屈婉玲老教授的离散数学第三版+配套的离散数学习题解答与学习指导第三版。前一本好像只剩二手

                       这个自我感觉你要自学起来真的是难学,本人科班,老师自己讲都是一知半解,学透还是别想了,看国外著作感觉也没那个必要,当然有时间能力可以去看罗森的<离散数学及其应用>,一般建议就看看国内的那些指定用书即可,其他的教材都是抄来抄去的hh。

4、概率论与数理统计,推荐经典教材浙大第四版。毋庸置疑。

计算机基础

1、编程语言(一般高校是c/cpp程序设计入门,java基础和python基础必须掌握,特指出一点javaee其实和大数据没有多少联系,只不过是java在web上做的开发,实际可以不必掌握,当然科班一定会学,可以当对Java的一种扩充。html和json需要了解和看懂)

2、Linux(科班一般学的是操作系统原理,如果也学了linux会更好,但技术要求起码你得会基本命令,操作管理和shell编程)

3、数据库原理(原理挺重要的,但技术要求至少会ddl,dql,用mysql)

4、数据结构(掌握链、队列、链表散列表、树、图,c和cpp没学好的就看java版吧)

5、算法(一定要单独拿出来说,因为算法很重要,网上可以搜到很多相关大数据算法,我看王宏志的挺不错)

以下是对计算机学科很重要但在大数据中可不掌握的知识,在标准版体系中,大数据是科班的一个方向,所以很有必要学习。

有人说,操作系统、编译与计算机组成原理在三门课是计算机的灵魂,你对它们的理解决定了你水平的高低,可以见得有多重要。计算机网络和汇编。。。怎么说,计算机素养了解一下,汇编有助于理解底层编程,计算机网络是Web开发的核心,至少了解了解客户端与服务器的交互、前台后台大概的东西,还有tcp/ip协议,网络安全信息加密方面起码得知道个什么REA啊DES啊哈希算法Md5密钥啊什么这些常见的。更多的CS专业内容不解释和介绍了并不必要,可参考知乎搜索263445600。

然后是一些基本技能/知识。

6、JDBC    java程序与数据的接口

7、正则表达式    文本模式,动态处理

8、git,GitHub       版本控制工具   https://www.zhihu.com/question/20070065/answer/30521531

9、maven   java开发的项目自动构建工具

接着进入大数据技术篇。

未完待续……

猜你喜欢

转载自blog.csdn.net/qq_36042506/article/details/82948473