准备从事爬虫工作，请问python爬虫工程师在公司具体工作内容都是哪些？未来发展方向呢？
1
工作内容
学习Python中有不明白推荐加入交流群
号：516107834
群里有志同道合的小伙伴，互帮互助，
群里有不错的学习教程！
1.需求出来了，写爬虫
2. 被反爬
3. 反反爬
3. 被反反反爬
4. 反反反反爬
5. 不断调试...不断调教爬虫.....当你以为没问题了，继续
6. 为提升爬虫效率而绞尽脑汁。
7. 为需求变更而重构模块。
8. 为网页结构变更而重构模块。
9. 受不了了，删库跑路，成为老赖。
10. 被反爬 循环。
需要技能：
1.学会使用搜索，能看懂robot.txt。
2.调用reuqests.session()。
3.selenium --headless 配合你破解各种验证，拿cookies。
4.mitmproxy 等辅助中间件。
5.优化爬取规则算法。
6.time.sleep(x)的职业情怀。pymouse与selenium配合完成爬虫伪装。
7.感觉不对劲了，跑路要快。
8.会下demo，有些数据需求不需要写代码，hawk活着网上的demo就可以帮你解决。
9.掌握主流爬虫框架。不一一列举了。
2
招聘类网站确实有Python爬虫工程师这类工作，爬虫做好了也能得到不错的收入。
不过做好爬虫也需要大量的联系和其他知识，比如转换数据，分析数据等等。建议您如果爱好爬虫可以从爬虫着手。等熟练了在其它方向的发展也就自然而然的了解了。