MessageBird如何使用ClickHouse监控数十亿条消息的传递

图片

MessageBird是一个云通信平台,通过无缝、上下文相关的对话将企业与客户连接起来。处理数十亿条消息、通话和电子邮件,为29000多个客户提供服务,MessageBird在高效运营方面严重依赖数据驱动的洞察力。自2017年以来,坚实的分析后端ClickHouse一直在提供这些洞察力方面起着关键作用,支持监控短信消息传递性能、为客户提供面向用户的仪表板和API等功能。

实时分析:驱动面向客户的仪表板和API

在MessageBird中,ClickHouse对公司的实时分析能力至关重要。该系统提供实时数据,直接为其面向客户的仪表板和API提供支持。ClickHouse支持高容量数据摄取和低响应时间的能力意味着客户的查询可以迅速、准确地得到回答。

了解客户行为并及时为他们提供所需信息对于MessageBird至关重要。无论是使用统计数据、账单详情还是性能指标,由ClickHouse提供支持的数据立即可供终端用户使用,促进了互动和参与的增加。

正如MessageBird的高级数据工程师Javier Llorente所解释的:“我认为当你需要在大型数据集上执行分析查询,并且需要在几秒钟内快速响应时,ClickHouse确实是最好的解决方案之一。这是我认为ClickHouse与MessageBird非常匹配的地方。”

性能监控:确保运营卓越

性能监控对于MessageBird至关重要。从他们的ClickHouse驱动的数据基础设施中提取的指标使团队能够跟踪短信传递性能,并迅速识别异常。

ClickHouse的多功能性在支持内部和外部用例中发挥了关键作用。在MessageBird内部,同一个ClickHouse集群用于各种功能。为了确保最佳性能,根据具体用例设置了不同的策略和配额。“尽管我们在各种功能中使用相同的ClickHouse集群,但我们根据用例设置了不同的策略和配额。这使我们能够有效地控制查询的超时时间并管理资源消耗,”Llorente说。

他们在内部使用ClickHouse的方式使他们的团队能够在几乎实时中利用数据。正如MessageBird的高级工程经理Dennis van der Vliet所解释的:“当客户对发送到特定国家的消息传递提出关注时,由ClickHouse提供支持的我们的工具将成为了解情况的首选资源。”

MessageBird向ClickHouse云进行过渡

MessageBird在2017年首次采用了ClickHouse,从MySQL的自定义cron设置过渡,原因是可扩展性和延迟挑战。为了进一步扩展其服务并管理不断增长的数据量,MessageBird从自我管理的本地解决方案迁移到了ClickHouse云。这一转变是由对更具扩展性、弹性和高效数据基础设施的需求驱动的,但成本因素也有很大影响。

迁移到ClickHouse云带来了显著的好处,包括从SSD存储转移到更经济实惠的S3存储带来的大幅成本节省。此外,由于S3的低数据存储成本,使用ClickHouse中的Projections变得更具成本效益。

ClickHouse云的成本效益

自从迁移到ClickHouse云以来,MessageBird节省了大量成本,成本降低了约60-70%。这种节省不仅与直接成本(如自助托管费用)有关,还与维护和基础设施管理相关的开销有关。根据他们的经验,迁移到ClickHouse云在经济上非常有意义。

ClickHouse云的可扩展性和性能优势

除了节省成本外,他们转向ClickHouse云还带来了显著的可扩展性和性能改进。最近出现了数据量增加导致性能缓慢的情况。在云迁移之前,由于以前的自我托管设置的扩展复杂性,这种情况可能会升级为重大事件。然而,通过ClickHouse云,解决这种情况变得很简单。

“与我们以前的自我托管设置相比,它可能会升级为一个事件,我只需要启动我的计算机,在ClickHouse云控制台上扩展服务,然后保证他们大约20分钟内性能会有所改善,”van der Vliet说。

这个例子完美地概括了基于云的基础设施如何使MessageBird能够迅速应对性能问题,确保服务的连续性。

MessageBird的ClickHouse云架构

图片

MessageBird的ClickHouse云架构集成了几种现代云技术。数据摄取层涉及一个从Google Pub/Sub将数据移动到ClickHouse的摄取服务,使用在Google Cloud Dataflow上运行的Apache Beam流水线。用于查找查询的数据存储在BigTable中,该存储提供低延迟和高吞吐量。MessageBird利用ClickHouse的CollapsingMergeTree表引擎的功能,确保只查询最新版本的行。

ClickHouse优势:投影(Projections)

ClickHouse中的投影提供了通过存储预计算结果来加速查询性能的能力,以用于常用的转换或聚合函数。这个功能极大地提高了查询性能,特别是对于否则需要扫描大量数据或执行昂贵操作的复杂分析查询。随着迁移到ClickHouse云,投影对于MessageBird而言变得更加具有成本效益。在自我管理的设置中依赖于SSD时,为投影维护额外的存储可能会很昂贵,因为每GB存储的成本很高。然而,随着转向ClickHouse云,以及转向S3存储,投影现在以更低的成本提供。

总结

ClickHouse已经证明是MessageBird的一个关键工具,驱动其实时分析和性能监控能力。通过转向ClickHouse云,MessageBird已经能够轻松处理高摄取流量,并节省成本。使用ClickHouse的独特功能,如Projections和特定的表引擎,与公司对效率和创新的承诺相吻合。随着MessageBird的继续发展,ClickHouse成为其强大、可扩展且具有成本效益的数据基础设施的关键组成部分。

了解更多:https://messagebird.com/

图片

联系我们

手机号:13910395701

邮箱:[email protected]

满足您所有的在线分析列式数据库管理需求

猜你喜欢

转载自blog.csdn.net/ClickHouseDB/article/details/132317797