05.14 python从事的工作

python  web方向:(难度较低)

    html   css   js   jquery  

    mysql  django     flask(可扩展)  ajax   json


爬虫开发工程师:(代码少)

    python

    爬虫需要掌握的知识点:网络、http协议、爬虫原理、反爬机制、反反爬手段、urllib、scrapy框架、pyspider(扩展)

    解析:正则、xml解析、xpath、css选择器

    保存:mysql

    python数据分析:统计数据规律和数据之间的相关性。


大数据方向工程师:(难度大)

    python

    hadoop-hdfs     hadoop-yarn      hive  spark  

    hadoop-mapreduce(一般都是java来做的)

    hadoop-streaming-mapreduce(python版mapreduce)

    flume   kafka

    算法:推荐   分类   回归  决策  

    数据开发:开发函数方法,api,等别人调用

    数据分析:在集群上分析,爬虫数据分析可能只是在单机上


AI:

    机器学习   深度学习(神经网络   卷积)

            Tensorflow


    

猜你喜欢

转载自blog.csdn.net/gaoshiqi5322688/article/details/80314167