自己动手编写一个网络图片爬虫

如今基本上我们的大部分时间都是浪费在浏览网页上的,网页有许多的媒体资源,其中最常见的是图片。当我们浏览到比较好的网站的时候,看到比较好看的图片总是会忍不住要下载。通常来说我们都是右键单击图标选择图片另存为,选择要保存的位置,然后保存。别这么天真的认为你已经把一张图片下载好了,其实不然,当你发现下载的图片多了的时候,难免会觉得这种方法效率极其低下。而且当下载了大量图片后还要手动进行分类,实在是麻烦至极。

这里我要向大家推荐一种高效的下载图片的方式——爬虫爬取并自动下载。如果你理解了爬虫的原理,你还可以把同样的方法应用到视频、音频和文本资源的下载上。

这里我直接推荐一个爬取图片的小程序,有兴趣的读者可以改造这个小程序,用于爬取文章等。

小程序源码地址:https://github.com/danielfengyu/img_crawler

希望对感兴趣的人有帮助!

猜你喜欢

转载自fengyu153610.iteye.com/blog/2378921