华为的Carbondata

华为独立开发并开源的Carbondata通过Apache基金会的投票,成为 Apache Incubator(孵化器)项目!
Carbondata的目标是创建一种新的Hadoop文件格式,只用一份数据,满足多样化的数据查询需求,包括顺序读,OLAP查询,随机读。
CarbonData是一个为了更快的交互查询而生的新的Hadoop原生文件格式,用于大数据的快速分析和多维度查询hadoop本地数据存储设计。

在客户基准上,CarbonData已经展示出管理运行在非常低成本的硬件上的PB级别的数据,并且比目前的开源解决方案快了近10倍。

特征:

使用内置索引在快以秒计的时间内快速分析查询,交互式OLAP-style的查询优化,高投入扫描查询,低延迟点查询。
快速的数据加载速度和支持增量负载分钟时间。实时加载接近5分钟应予支持
支持并发查询
支持基于时间的数据保留
支持基于SQL的查询界面

猜你喜欢

转载自394938226.iteye.com/blog/2303215