详解:大数据开发的学习之路

学习大数据已经有一段时间了,抽空回顾一下自己学习的一些内容。下图主要为自己学习大数据的一个过程。


阶段一:Java基础
            掌握JAVA基本语法、面向对象、集合、IO流、多线程、网络编程

阶段二:MySQL
            CRUD

阶段三:Linux
            常用的操作命令

阶段四:Hadoop生态系统
                           

          HDFS、YARN、MapReduce、Hive、HBase、Zookeeper、Flume、Kafka、Sqoop、Spark

阶段五:Spark生态系统
         

          Spark Core、Spark SQL、Spark Streaming、MLlib、Graphx

阶段六:项目实战
          用户推荐系统

阶段七:Python
           学习python的基础语法。后面的数据爬去、算法的实现、机器学习、深度学习中会用到,学习numpy和panada。

阶段八:HTML
          学习HTML的基础语法,了解网页的构成。

大数据学习路线及各阶段学习书籍推荐!废话不多说,直接切入主题,有需要的小伙伴可以参考学习!

阶段一、大数据基础——java语言基础方面

(1)Java语言基础

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

(2) HTML、CSS与JavaScript

PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用

(3)JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

推荐书籍:

《Effective Java中文版》(第2版)

本书为我们带来了共78条程序员必备的经验法则,针对你每天都会遇到的编程问题提出了有效、实用的解决方案。

书中的每一章都包含几个"条目",以简洁的形式呈现,自成独立的短文,它们提出了具体的建议,对于Java平台精妙之处的独到见解,以及优秀的代码范例。每个条目的综合描述和解释都阐明了应该怎么做,不应该怎么做,以及为什么。

阶段二、 Linux&Hadoop生态体系

Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

推荐书籍:

1、《Big Data》

在大数据的背景下,我很少看到关于数据建模,数据层,数据处理需求分析以及数据架构和存储实现问题。这本书却提供了令人耳目一新的全面解决方案。

2、《Hadoop权威指南》

《Hadoop权威指南(中文版)》从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。

3、《Hive编程指南》

《Hive编程指南》是一本Apache Hive的编程指南,旨在介绍如何使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。

阶段三、 分布式计算。

(1)分布式计算框架

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一:基于Spark的推荐系统(某一线公司真实项目)、实战二:新浪网(www.sina.com.cn)

(2)storm技术架构体系

Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一:日志告警系统项目、实战二:猜你喜欢推荐系统实战

推荐书籍:

1、《Learning Spark》

《Spark 快速大数据分析》是一本为Spark 初学者准备的书,它没有过多深入实现细节,而是更多关注上层用户的具体用法。不过,本书绝不仅仅限于Spark 的用法,它对Spark 的核心概念和基本原理也有较为全面的介绍,让读者能够知其然且知其所以然。

2、《Spark机器学习:核心技术与实践》

本书采用理论与大量实例相结合的方式帮助开发人员掌握使用Spark进行分析和实现机器学习算法。通过这些示例和Spark在各种企业级系统中的应用,帮助读者解锁Spark机器学习算法的复杂性,通过数据分析产生有价值的数据洞察力。

阶段四、 大数据项目实战(一线公司真实项目)

数据获取、数据处理、数据分析、数据展现、数据应用

阶段五、 大数据分析 —AI(人工智能)

主要是讲解Data Analyze数据分析基础、数据可视化、sklearn中三类朴素贝叶斯算法以及python机器学习等提升个人能力的内容!

目前就整理到这里,大家有好的学习资料欢迎评论分享!



 

发布了53 篇原创文章 · 获赞 8 · 访问量 9365

猜你喜欢

转载自blog.csdn.net/juan777/article/details/104234274