Alluxio 在京东Ad Hoc平台的应用--对JDPresto的加速

京东adhoc平台自2017年开始使用alluxio,目前已部署超过500个物理节点,每天加载超过70T的数据,alluxio为adhoc平台部分Presto应用带来了10X的性能提升和稳定的亚秒级查询体验;基于alluxio实现独立的shuffle service服务,根据任务级别和任务类型(Spark,MR)决定shuffle数据存储等级(RAM,SSD,HDD)

张芒,京东大数据平台计算引擎负责人,2015年加入京东,主要负责adhoc平台的搭建、架构升级及日常维护工作。开源软件爱好者,目前是Hadoop,Hive,Presto,Alluxio的Contributer














原文https://www.slidestalk.com/s/JD_Presto_On_Alluxio_2018

猜你喜欢

转载自blog.csdn.net/weixin_42852136/article/details/83589488