AWS S3存储桶之事件通知

概述

在前面的文章中,我们实践过AWS S3跨区域复制功能(CRR),将对象从一个region的存储桶复制到另一个region的存储桶。今天来实践一下对于S3事件通知的操作。
S3提供了事件通知功能,可以在存储桶发生某些事件时接收通知。本次实践的目标有两个,一是当存储桶上传新对象时发送电子邮件提醒,二是当存储桶上传图片时进行大小缩放。

实践1 存储桶上传新对象时发送邮件提醒

这个操作比较简单,S3+SNS即可实现,基本流程如下:

步骤1 创建存储桶

在aws S3控制台上创建一个存储桶xytempbucket(位于欧洲巴黎region),如图1所示
图1

步骤2 创建SNS通知

在SNS控制台创建一个通知主题xuyisnstopicmail,如图2所示
在这里插入图片描述注意,在这个主题中需要明确其访问策略,如图3所示
在这里插入图片描述策略主要明确SNS主题名称和aws 存储桶的名称(分别用蓝色标明)。
至此,主题的发布完成,接下来需要订阅该主题。主题界面中点击“创建订阅”,开始配置订阅,在“主题ARN”中把上一步发布的主题ARN填进去即可,在“协议”中选择“电子邮件”,在“终端节点”中填入email接收地址,点击“创建订阅”即可,如图4所示
在这里插入图片描述此时,只是进行了订阅主题的操作,还没有生效,AWS会发送一封电子邮件至图中所填邮箱,需要据此点击确认对主题的订阅。如图5所示
在这里插入图片描述根据邮件提示操作即可确认订阅成功。
步骤3 在存储桶上配置事件,启用存储桶通知
回到S3控制台,在所选的存储桶->属性->事件栏点击“添加通知”,如图6所示
在这里插入图片描述
选择一个合适的事件名称,注意:
1)事件类型可能存在一定的冲突而报错,根据需要选择,多试几次(我勾选put和post);
2)SNS主题填入前面所创建的主题ARN即可。

步骤4 验证

至此,配置完毕,现在开始验证。在配置之前存储桶中已经存在了7个图片(screen-shot1~screen-shot7),现在从控制台再上传一张xytestpng.png的图片,如图7所示
在这里插入图片描述图片上传成功之后,随即qq邮箱传来邮件提醒,查看邮箱,如图8所示
在这里插入图片描述
注意:邮件通知的时间可能有一定的延时,不确定。
至此,实践1完毕。(非常简单,在控制台点击即可完成。)

实践2 存储桶上传图片进行缩放

整体流程:将图片上传到源存储桶,通过事件触发lambda函数,lambda获取上传的图片进行缩放处理,再将处理完成的图片存入到目标存储桶。如图9所示:
在这里插入图片描述

步骤1 创建存储桶

在S3控制台创建存储桶,需要创建两个存储桶,一个是源存储桶xytempbucket,一个是目标存储桶xytempbucketresized(创建过程省略),区域为欧洲巴黎。如图10所示
在这里插入图片描述

步骤2 创建策略

IAM控制台->创建策略,将以下内容复制到json编辑框中,即可生成。
图11
注意:其中的源存储桶和目标存储桶要使用自己实际的存储桶ARN。

步骤3 创建角色

策略创建完成后,切换到IAM控制台,创建角色。
图12
创建由lambda服务使用的角色,如图12所示,并将步骤2中创建的策略附加到该角色上,如图13、图14所示。
在这里插入图片描述在这里插入图片描述

步骤4 创建lambda函数

切换到lambda控制台,创建函数->从头开始创作,填写函数名称,和语音信息,如图15所示
在这里插入图片描述
注意区域要与S3中存储桶的区域一致,选欧洲巴黎。
继续,可以再次添加函数的触发器(也可以暂时不添加,而去S3存储桶的事件属性里添加触发lambda,同样的效果),这里选择S3触发,需要选择源存储桶,事件类型选择put,如图16所示
在这里插入图片描述
点击“添加”即成功添加了lambda函数的触发器。再编辑lambda函数代码,将下面代码复制进去

    var AWS = require("aws-sdk");
    var IM = require('imagemagick');
    var FS = require('fs');
    var compressedJpegFileQuality = 0.80;
    var compressedPngFileQuality = 0.95;
     
    exports.handler = (event, context, callback) => {
        var s3 = new AWS.S3();
        var sourceBucket = "xytempbucket";
        var destinationBucket = "xytempbucketresized";
        var objectKey = event.Records[0].s3.object.key;
        var getObjectParams = {
            Bucket: sourceBucket,
            Key: objectKey
        };
        s3.getObject(getObjectParams, function(err, data) {
            if (err) {
                console.log(err, err.stack);
            } else {
                console.log("S3 object retrieval get successful.");
                var path = require('path');
                var tmpname = path.basename(objectKey);
                var resizedFileName = "/tmp/"+tmpname;
                var quality;
                if (resizedFileName.toLowerCase().includes("png")){
                    quality = compressedPngFileQuality;
                }
                else {
                    quality = compressedJpegFileQuality;
                }
                var resize_req = { width:"100%", height:"100%", srcData:data.Body, dstPath: resizedFileName, quality: quality, progressive: true, strip: true };
                IM.resize(resize_req, function(err, stdout) {
                    if (err) {
                        throw err;
                    }
                    console.log('stdout:', stdout);
                    var content = new Buffer(FS.readFileSync(resizedFileName));
                    var uploadParams = { Bucket: destinationBucket, Key: objectKey, Body: content, ContentType: data.ContentType, StorageClass: "STANDARD" };
                    s3.upload(uploadParams, function(err, data) {
                        if (err) {
                            console.log(err, err.stack);
                        } else{
                            console.log("S3 compressed object upload successful.");
                        }
                    });
                });
            }
        });
    };

注意:代码中的sourceBucket和 destinationBucket需要填写步骤1中相应的桶名称。
如图17所示:
在这里插入图片描述
并选择运行环境,这里是“Node.js6.10”,处理程序名称为“index.handler”,如图18所示
在这里插入图片描述
下面继续配置执行角色,选择“现有角色”,选择步骤3中创建的角色,另外可能还需要配置超时时间和内存大小,一般默认即可,后面根据函数执行情况可以再调整。如图19所示:
在这里插入图片描述
我们现在可以切回到S3控制台,在源存储桶xytempbucket中的事件属性里可以看到刚刚配置过的触发器,如图20所示
在这里插入图片描述
注意:
1) 如果此前没有配置触发器,则现在源存储桶的事件里配置即可。
2)一个存储桶上的事件通知如果重复配置的时候可能会报错,所以触发器配置不成功的时候先看看该存储桶是否有重复配置。
至此,所以配置完毕。
步骤5 验证
向源存储桶分别上传文件girl.jpg、woman.jpg、woman.png、xytestpng.png四张图片,且大小不一(其他图片是此前上传的,不予考虑),如图21所示
在这里插入图片描述
考虑到图片的下载上传以及缩放处理都需要时间,等了大约1分多钟再去查看目标存储桶xytempbucketresized,结果如图22所示
在这里插入图片描述
可以看到woman000.png图片没有缩放成功,原因未知(因为代码是从网上下载,故此不分析具体原因),其他图片都有一定程度的缩放(从图片大小既能看出来)。
注意:测试的时候是一张一张图片上传进行测试,没有考虑同时上传多张图片这样的场景,因为本次实践的目的是将整个流程走一遍,至于缩放失败的原因可能还跟内存、超时时间等配置有关。


在这里插入图片描述

发布了35 篇原创文章 · 获赞 5 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/SinnetCloud/article/details/100097552