项目展示
项目背景介绍
此项目的完成背景是大三暑假实训见习时老师要求完成的作品，利用一周所学的Python爬虫知识，然后再用一周的时间开发出一个爬虫系统。在整个系统中，我主要负责完成除爬虫模块以外的所有模块构建整合。数据来自智联招聘网，前端主要用echart对数据进行可视化分析，后台采用Django开发，前后端采用ajax交互(已经习惯了这种开发方式，还有当时对PythonWeb确实不太熟)。现在时间比较充裕，就打算把此项目整理分享出来。
项目运行部署
项目下载地址https://download.csdn.net/download/qq_35268841/11862117
免费下载：公众号->BatFor
项目运行环境：项目包中的requirements.txt文件中有。自己安装(我是python3.6环境)。
导入数据库：将项目包中的.sql文件导入MySQL中。
修改项目数据库配置：
启动django项目。
浏览器访问http://127.0.0.1:8000/page/index_i.html#
爬虫模块说明
这个系统过成是先在线爬取数据后存入数据库，然后对数据库中的数据进行统计分析。但因为没采用类似Redis这种高速率的数据库，所以这样做就比较慢。于是在线爬取后我并没有放入数据库(有这个功能，我把他注释了)，只是将日志信息以文本形式保存起来。当然你也可找到对应地方做修改。
欢迎关注我的个人公众号【BatFor】
本系统有偿辅助部署，欢迎联系([email protected])