我教学弟用Python自动爬取全国 30+ 城市地铁图数据!不再怕迷路

现在城市是飞速发展!各种城市都是拓展地铁线,我很久没有回长沙了,听说现在修到6.7号线了。我还真怕我回去都不会做地铁了,那么今天就用咱们的这个Python小爬虫,爬取一下全国30个城市的最新地铁路线,顺便教学弟做毕业设计!好了 废话不多说了,如果需要源码请加交流群:960410445,有不懂得问题都可以来群里交流,解决!

我教学弟用Python自动爬取全国 30+ 城市地铁图数据!不再怕迷路

这是一个大纲,如果觉得不清晰,那么就加上面的那个群哈!

我教学弟用Python自动爬取全国 30+ 城市地铁图数据!不再怕迷路

分析得知,xhr请求的接口数据便是我们需要的一部分数据(包含线路名称、线路名称坐标、线路轨迹、站点名称、站点定位坐标等 ),另一部分数据则是直接在Dom节点中(包含站点名称坐标),所以我们要爬取的数据便是 Ajax接口数据 + Dom节点数据 ,如图所示:

我教学弟用Python自动爬取全国 30+ 城市地铁图数据!不再怕迷路

我教学弟用Python自动爬取全国 30+ 城市地铁图数据!不再怕迷路

我教学弟用Python自动爬取全国 30+ 城市地铁图数据!不再怕迷路

2.2 用到哪些python数据结构:

list: 存储线路列表

dict:存储线路和站点信息

string: 存储各字段信息

这里不再讲述各个依赖库的安装, 有 针对性学习python相关知识点,就可以愉快地编码了, 运行写好的爬虫脚本,不用任何手动操作,就可得到30+城市的json格式地铁图数据文件了

3. 源码 加群哦!

4. 总结

编码的过程中,遇到这样一个问题,有些城市的菜单在页面的『更多』里面,加载完页面后是隐藏的,python打开浏览器模拟点击的时候,会报一个找不到该元素的错误,经过google一番,总结了两个解决方案,亲测可用!

学习不应该停留理论,动手实践并输出,方可检验你的学习成果,一起操练起来吧

猜你喜欢

转载自blog.csdn.net/qq_42156420/article/details/86605648