直播|StarRocks 技术内幕 :低基数全局字典优化

String 类型数据遍布于数据库和存储系统。为了提升 String 处理效率、节省存储资源,出现了很多针对 String 类型进行优化的技术手段,如前缀编码压缩以提升 String 存储效率,各类字典应用以加速 String 处理。

在处理相同数据量的情况下,String 类型的处理时间差不多是整型的 2-3 倍。如果使用整型来替代 String 类型进行数据处理,系统性能将显著提升!

在 MPP 架构下,通常的字典优化只能作用于单机或存储层,无法全局生效。如果能够使用全局字典,就可以在更多场景下触发字典优化,让字符串处理速度和整形接近,进一步提升查询性能。

那么 StarRocks 是如何基于全局字典来进行低基数 String 查询优化呢?
7 月 28 日 19:00-20:00,StarRocks 数据库研发工程师冯浩桉将现身直播间,为你解读 StarRocks 核心团队的技术内幕。

关于 StarRocks
StarRocks 创立两年多来,一直专注打造世界顶级的新一代极速全场景 MPP 数据库,帮助企业建立“极速统一”的数据分析新范式,助力企业全面数字化经营。
当前已经帮助腾讯、携程、顺丰、Airbnb 、滴滴、京东、众安保险等超过 110 家大型用户构建了全新的数据分析能力,生产环境中稳定运行的 StarRocks 服务器数目达数千台。
2021 年 9 月,StarRocks 源代码开放,在 Github 上的星数已超过 3000 个。StarRocks 的全球社区飞速成长,至今已有超百位贡献者,社群用户突破 5000 人,吸引几十家国内外行业头部企业参与共建。

{{o.name}}
{{m.name}}

猜你喜欢

转载自my.oschina.net/u/5658056/blog/5559810