Python爬虫入门教程 85-100 五年Python爬虫工程师,开发常用工具清单大放送

写在前面

在编写爬虫的过程中,熟练的使用一些工具能高效的提高你爬虫代码编写的速度,本篇博客我们短暂性的休息下,给大家介绍一下我在编写爬虫代码编写的过程中,都使用了哪些工具,这些工具你可以酌情安装一下,没准在哪天,它们能帮助到你。

爬虫世界工具清单

谷歌浏览器

开发爬虫必备,浏览器我建议就使用这个吧,其他的也确实不怎么好使,浏览器上的工具,主要有下面这些。

谷歌开发者工具

没错,就是按F12出现的开发者工具,长成下图这个样子,这里面提供了非常多调试网页的工具,虽然我们不是前端工程师,但是这些工具必不可少。例如下面的ElementsNetwork,写爬虫的时候,哪一个每天不点上几十遍都不舒服。
Python爬虫入门教程 85-100 五年Python爬虫工程师,开发常用工具清单大放送
如果你使用的是其他浏览器,开发者工具基本类似,这个主要依赖编码者的习惯,有的人就喜欢用火狐浏览器,毕竟那个是中文~

谷歌浏览器插件/扩展

除了自带的开发者工具意外,有些浏览器的扩展我们是很有必要安装一下的 ,这里其实有个非常6的爬虫扩展,叫做Web Scraper我们这里先不展开说,因为我后面要单独写一篇博客去描述它,我们先把一些常用的小扩展,给大家罗列一下。

第一个是我最常用的,叫做XPath helper,因为对于我来说,最常用的网页内容解析方式除了正则表达式以外,就是xpath解析方式了,安装它之后,你可以快速的在网页上面高亮显示某些选择区域。安装过程这里不细说,毕竟在国内去访问谷歌插件市场还是需要些特殊办法的。

当然,你可以直接访问国内的一些网站去下载,这种好的扩展一定有人提供的,例如,CSDN下

猜你喜欢

转载自blog.csdn.net/hihell/article/details/108341299