岗位职责：
1、负责爬虫各个系统核心代码搭建，性能方面的优化，解决相关的疑难问题；
2、负责研究各种网站、网页、链接的形态，发现它们的特点和规律；
3、设计各种策略和算法，提高数据抓取的效率和质量，解决数据的重复,垃圾数据识别；
4、提高系统的可运维，可测性，易用性。
职位要求：
1、熟悉Python高并发应用开发，了解爬虫框架Scrapy，pyspider等；
2、拥有良好的代码习惯，结构清晰，逻辑性强，有丰富的面向对象设计及编程能力；
3、熟悉TCP/IP网络协议，熟悉Linux操作系统；
4、掌握基本数据结构和算法，能够灵活使用编程技巧和设计模式等相关知识；
5、对新技术有强烈的探索欲望，能快速接受新事物的新理念，善于团队合作与管理，有强烈的责任心。
说明：每个公司对同一个职位的要求都会因为公司的实际情况而有所不同，高校俱乐部中所有职位职责和职位要求，仅代表该职位的普遍情况，若有偏差，请直接回帖"纠错"提出您的意见，我们将采纳每一个合理意见，感谢您对高校俱乐部的关注和支持！