AWS大数据之kinesis

kinesis中又包括了Amazon Kinesis Streams与Amazon Kinesis Firehose

Amazon Kinesis Streams
通过 Amazon Kinesis Streams,您可以构建自己的自定义应用程序来处理或分析流数据,以满足特定需求。它能够每小时从成千上万个来源连续捕获和存储数 TB 的数据。然后,您可以构建应用程序来处理来自 Amazon Kinesis Streams 的数据,以支持实时仪表板、生成警报、实施动态定价和广告等等。Amazon Kinesis Streams 支持您选择的流处理框架,包括 Kinesis Client Library (KCL)、Apache Storm 和 Apache Spark Streaming。
Amazon Kinesis Firehose
Amazon Kinesis Firehose 是将流数据加载到 AWS 的最简单的方式。它可以捕获流数据并将其自动加载到 Amazon S3 和 Amazon Redshift,借助当前正在使用的现有商业智能工具和控制面板实现近乎实时的分析。借助它,您可以快速实施 ELT 方法,并迅速从流数据中受益。

配合使用完成如下常规操作
一、Amazon Kinesis Streams收集到应用程序的数据后可以可以提供给实时计算平台做实时分析使用

二、数据流转接到Amazon Kinesis Firehose,用作持久化到S3或Redshift做离线分析

猜你喜欢

转载自blog.csdn.net/wangqiang9x/article/details/84787772