两年Python菜鸡一个,以前是做web后台的,想转大数据方向,现在为了系统化地学习,还是稍微整理一下自己的技术栈
Python语言:
看过的书有《Python编程从入门到实践》,挺基础的。
最近想看的还有两本书,分别是流畅的Python和cook book,心心念念了好久,是要提提速把这两本书看完
Python第三方:
web:
Django:CRUD级别
Flask:CRUD级别
Tornado:不会
前端:
HTML:简单理解
CSS:简单理解
Javascript:简单理解
JQuery:简单理解
Vue.JS:不会
爬虫:
爬虫框架:
Scrapy:爬虫框架,不懂
Pyspider:爬虫框架,不懂
网络请求:
requests:马马虎虎
Selenium:自动化测试库,不会
解析:
lxml:解析库,支持XPath,不会
BeautifulSoup4:解析库,不会
Pyquery:据说好用,没用过
数据分析:
数据处理:
numpy:不懂
pandas:不懂
scipy:不懂
可视化:
matplotlib:不会用
pygal:不会用
机器学习:
scikit-learn,pytorch,xgboot,keras,TensorFlow:没个会的
数据结构和算法:不会
Linux:只会基础,不懂shell编程
数据库:
MySQL:CRUD
Redis:CRUD
Mongodb:不会
大数据:
数据采集:
Flume
Logstash
Canal
消息中间件:
kafka
RabbitMQ
RocketMQ
数据存储:
HDFS
数据仓库:
Hive
hbase
离线处理:
MapReduce
实时处理:
Spark
FLink
Storm
任务调度:
Azkaban
Oozie
资源管理:
YARN
MESOS
K8S
容器化:
Docker
微服务:
SpringBoot
集群:
Cloudera Manager
Ambari
部署:不懂
数理统计:不会
证书:没有
总结:我是fw,总结完也不知道从哪里开始学起,半个月内先学numpy,再看完Python两本书,再说吧