node爬取网站图片

  1. 依赖于fs、https、cheerio模块,cheerio模块需要npm install cheerio --save安装
  2. 核心代码(创建copy.js,将一下代码复制粘贴即可)
const fs = require('fs')
const http = require('https')
const cheerio = require("cheerio");  
const url = 'https://movie.douban.com/'
http.get(url, function(res) {
    var html = ''
    var resuts = []
    res.on('data', function(data) {
        html += data
    })
    res.on('end', function(data) {
        console.log('结束了============')
        var $=cheerio.load(html)
        $("img").each(function(index, item) {
            var src = $(item).attr('src')
            // src.indexOf(url) === -1 && (src = url + src)
            resuts.push(src)
        })
        console.log('共搜索到'+resuts.length+'图片');
        console.log('清空image文件下的图片')
        emptyImage('./images')
        console.log('开始下载保存图片...')
        for(var i=0;i<resuts.length;i++){
            console.log('当前下载保存图片的网络链接:'+resuts[i])
            saveImage(resuts[i]);
        }
    })
}).on('error',function(){
    console.log('资源读取出错')
})
// 清空image文件下
function emptyImage(fileUrl) {
    if (!fs.existsSync(fileUrl)) {
        return
    }
    var files = fs.readdirSync(fileUrl)
    files.forEach(function(file) {
        fs.unlinkSync(fileUrl+'/'+file)
    })
    console.log('已清空image文件下的图片')
}
// 下载保存于image文件下
function saveImage(resuts) {
    http.get(resuts,function(res){
        res.setEncoding('binary');//二进制
        var imageData="";//将图片加载到内存中
        res.on("data",function(a){
            imageData+=a; 
        }).on("end",function(){
            //创建文件夹,如果有就不用创建
            if(!fs.existsSync('./images')){
                fs.mkdirSync('./images');
            };
            //保存图片
             fs.writeFile("images/"+Math.random()+".png",imageData,"binary",function(err){
                if(!err)
                console.log("保存成功");
        });
        
        });
    });
}
  1. 运行(node copy.js)
发布了44 篇原创文章 · 获赞 24 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/qq_43634982/article/details/104053803