亚马逊云科技Amazon Athena预置容量简介

Amazon Athena是一种使用标准SQL查询的查询服务,可以轻松分析Amazon Simple Storage Service(Amazon S3)数据湖和30个不同数据来源(包括本地数据源或其他云系统)中的数据。Amazon Athena是一种无服务器服务,因此无须管理任何基础设施,而且到今天为止,只需为所运行的查询付费。从今天开始,可以为查询获取专用容量,并使用新的工作负载管理功能来优先处理、控制和扩展最重要的查询,而且只需为预置的容量付费。

628c533bc04e4c149f09d0820060a738.png

在亚马逊云科技,90%的新服务和功能是由您的直接反馈推动的。许多Amazon Athena客户告诉亚马逊云科技,当运行大量查询时,有时会出现排队情况,这可能会拖慢某些应用程序或业务流程的速度。要解决此问题,您通常需要创建一个查询优先级机制,将任务关键型查询优先于不太关键、交互式或探索性查询。这种优先级机制有助于先运行最高优先级的查询,但代价是需要在Amazon Athena之外构建和维护代码或业务流程。另外,还有Amazon Athena的成本难以预测的问题。Amazon Athena按扫描的数据量收费,这笔费用通常很难预测,因为它取决于数据集的大小、用户查询的构造以及数据的存储格式。

亚马逊云科技在听到这些反馈之后,推出了大规模预置专用查询处理容量的功能。通过预置容量,可以预置一组专用的计算资源来运行查询。这种永不间断的容量可以几乎零延迟地为您的关键业务查询提供服务,无须排队。它使您可以控制工作负载性能特征,例如成本、并发性和查询优先级。与其他亚马逊云科技服务的预配置容量类似,您只为预置容量付费,而不为实际使用量付费。使用预置容量时,您的Amazon Athena账单是可预测的,并且不必为了控制每月预算而限制用户查询。

Amazon Athena在其运营的每个亚马逊云科技区域背后都维护着一个大型计算池。可以将其视为一个庞大的计算池,在逻辑上划分给客户。当您在Amazon Athena中预留容量时,该容量将专供您使用。您可以选择哪些查询在您的预置容量上运行,哪些在Amazon Athena的多租户按需容量上运行。多个查询可以共享您预置的容量。您可以根据不断变化的业务需求随时添加额外的容量单位。您还可以在至少8小时后调低预置容量。

容量单位是数据处理单元(DPU)。单个DPU相当于四个vCPU和16Gb内存。您可以预置的最小容量为24个DPU,持续8小时。这种新的Amazon Athena预置容量非常适合那些运行任何查询量的人,但开始使用预置容量的最佳时机是当您每月在Amazon Athena上花费100美元或更多时。

您需要的DPU数量取决于您的目标和分析模式。例如,如果您需要立即开始查询且无须排队,则应预置足够的DPU以满足峰值并发查询需求。允许预置少于峰值需求的DPU,但可能会导致排队。发生这种情况时,查询将保存在队列中,并在容量可用时执行。如果您的目标是在固定预算内运行查询,则可以使用亚马逊云科技定价计算器来确定符合预算的DPU数量。最后,请记住,数据大小、存储格式和查询结构会影响查询所需的DPU数量。可以通过压缩、分区和将数据转换为列式格式来提高查询性能。Amazon Athena的文档为您提供了指导,以便您确定同时运行多个查询可能需要的容量

Amazon Athena预置容量现已在美国东部(俄亥俄州、弗吉尼亚州北部)、美国西部(俄勒冈州)、亚太地区(新加坡、悉尼、东京)和欧洲(爱尔兰、斯德哥尔摩)AWS区域提供。

猜你喜欢

转载自blog.csdn.net/m0_66395609/article/details/130823254
今日推荐