给AWS S3添加事件

有时候当我们的系统完成了计算得到了新的数据时,把新的数据存储在S3上,这时候我们需要进行下一步的处理。

有几种方式来处理:

1 特定时间去触发,比如你知道每天早上8点左右数据就能处理完,所以你可以将下一个处理程序定时每天9点开始跑。

2 你下一个特定程序,每天8点的时候去check数据是否complete,如果完成就开始处理,如果没有完成则先过个五分钟,再check一次,如此循环往复。类似与Pull操作。

3 在S3上添加触发事件,当某种事件发生时,自动触发action,类似与Push操作。

现在S3上支持很多种事件类型比如delete,put, copy, multi-part upload等。还支持filter,根据前缀和后缀等。比如可以指定某个bucket下的所有以Model_DL_1_开头,以.data结尾的文件才会触发。

触发的action可以选择三种类型:

1 SNS, 需要指定ARN的topic。

2 SQS,需要指定ARN.

3 Lambda, 需要指定ARN, Amazon Resource Naming.

ARN类似于:arn:aws:sns:us-east-1:123123123:mytopic

原文:http://blog.csdn.net/hongchangfirst/article/details/79309077

作者:hongchangfirst

hongchangfirst的主页:http://blog.csdn.net/hongchangfirst


猜你喜欢

转载自blog.csdn.net/hongchangfirst/article/details/79309077