大数据开发所需技能

最近确定了自己未来职业规划。。。我要朝着大数据开发工程师努力,看下面的图谱,还差十万八千里(虽然不是所有都要会)!不过我不会气馁!加油!!!

下面是StuQ 发布的大数据工程师技能图谱(仅供参考)
大数据通用处理平台1. Spark2. Flink3. Hadoop分布式存储HDFS资源调度YarnMesos
机器学习工具Mahout1. Spark Mlib2. TensorFlow (Google 系)3. Amazon Machine Learning4. DMTK (微软分布式机器学习工具)
数据分析/数据仓库(SQL类)1. Pig2. Hive3. kylin4. Spark SQL,5. Spark DataFrame6. Impala7. Phoenix8. ELK8.1 ElasticSearch8.2Logstash8.3Kibana
消息队列1. Kafka(纯日志类,大吞吐量)2. RocketMQ3. ZeroMQ4. ActiveMQ5. RabbitMQ
流式计算1. Storm/JStorm2. Spark Streaming3. Flink
日志收集ScribeFlume
编程语言1. Java2. Python3. R4. Ruby5. Scala
数据分析挖掘MATLABSPSSSAS数据可视化1. R2. D3.js3. ECharts4. Excle5.
Python机器学习机器学习基础

  1. 聚类
  2. 时间序列
  3. 推荐系统
  4. 回归分析
  5. 文本挖掘
  6. 决策树
  7. 支持向量机
  8. 贝叶斯分类
  9. 神经网络
    机器学习工具
  10. Mahout
  11. Spark Mlib
  12. TensorFlow (Google 系)
  13. Amazon Machine Learning5.     DMTK (微软分布式机器学习工具)
    算法一致性
  14. paxos
  15. raft
  16. gossip
    数据结构
  17. 栈,队列,链表
  18. 散列表
  19. 二叉树,红黑树,B树
  20. 图常用算法1.排序插入排序桶排序堆排序2.快速排序3,最大子数组4.最长公共子序列
    5.最小生成树最短路径
    6.矩阵的存储和运算
    云计算云服务1. SaaS2. PaaS3. IaaS4. Openstack5. Docker

猜你喜欢

转载自www.cnblogs.com/Frank99/p/9396456.html
今日推荐