资深程序员为大家带来30分钟Python 爬虫教程!能看懂就能学会!

图片来源:Blake Connally 发布于Unsplash.com

简单图片爬虫的原料

简单图片爬虫的菜谱

以上的所有都安装好了?棒!在我们继续开始写代码前,我先来解释一下以上这些原料都是用来干什么的。

我们首先要做的是利用 Selenium webdriver 和 geckodriver 来为我们打开一个浏览器窗口。首先,在 Pycharm 中新建一个项目,根据你的操作系统下载最新版的 geckodriver,将其解压并把 geckodriver 文件拖到项目文件夹中。Geckodriver 本质上就是一个能让 Selenium 控制 Firefox 的工具,因此我们的项目需要它来让浏览器帮我们做一些事。

接下来我们要做的事就是从 Selenium 中导入 webdriver 到我们的代码中,然后连接到我们想爬取的 URL 地址。说做就做:

打开浏览器窗口到指定的 URL。

一个远程控制的 Firefox 窗口。

相当容易对吧?如果以上所说你都正确完成了,你已经攻克了最难的那部分了,此时你应该看到一个类似于以上图片所示的浏览器窗口。

滚动页面并等待 5 秒钟。

下载图片。

这就是爬取一堆图片所需要做的所有了。很显然的是,除非你想随便找些图片素材来做个设计原型,否则这个小小的爬虫用处可能不是很大。所以我花了点时间来优化它,加了些功能:

  • 允许用户通过指定一个命令行参数来指定 搜索查询 ,还有一个数值参数指定向下滚动次数,这使得页面可以显示更多的图片可供我们下载。

  • 可以自定义的 CSS 选择器。

  • 基于搜索查询关键字的自定义 结果文件夹 。

  • 通过截断图片的预览图链接来获得全 高清图片 。

  • 基于图片的 URL 给图片文件命名。

  • 爬取最终结束后关闭浏览器。

你可以(你也应该)尝试自己实现这些功能。全功能版本的爬虫可以在 这里 下载。记得要先按照文章开头所说的,下载 geckodriver 然后连接到你的项目中。

欢迎大家加入万人交流群:125240963

猜你喜欢

转载自blog.csdn.net/qq_42156420/article/details/80327797