2023全球运维大会 | 智能运维中的数据管理和数据探索

GOPS 全球运维大会由高效运维社区(GreatOPS)、开放运维联盟(OOPSA)和 DevOps 时代社区联合主办,指导单位为云计算开源产业联盟、FinOps产业推进方阵。迄今为止,GOPS 已经举行了十九次,大会参会嘉宾累计突破7万人次,国内每一站均为本地区最大规模的高端运维盛会,满意度和推荐度高达97%以上。

第二十届 GOPS 全球运维大会已于2023年4月8日在深圳市南山区深圳湾万丽酒店落下帷幕,但其中的收获却装满了满满一行囊。比如今年大会分享的几个主题方向都很有代表性和讨论性——云原生、DevOps、AIOps、DevSecOps、BizDevOps等技术领域。还特设了如互联网大厂企业专场、银行/证券名企数字化转型案例专场、云原生架构专场、DevOps/AIOps最佳实践专场、可观测性技术实践专场等特色专场。

此次,复旦大学计算机科学技术学院教授、擎创科技首席数据科学家——王鹏,在Xops行业案例专场中进行了《智能运维中的数据管理与数据探索》的深度分享。本文就王教授的分享内容进行简化总结,详细内容请静待后续视频号的更新。

一、智能运维建设中的挑战

企业在进行智能运维的建设过程中,经常被各类数据问题扰的头疼,究其原因是走入了一些误区,如:

  • 在建设期间,对AIOps的期望过于理想化,从而忽视了基础底座的重要性,既没有做好数据治理,也没有与经典规则融合,导致运维业务特征总结度不够,无法为运营提供帮助。

  • 急于求成而导致过多的目标场景无法完善交付,已交付的场景效果良莠不齐,无法进行实际应用。

  • 由于建设弯路造成的结果,使获得的数据质量不够稳定,系统经常出现误报,企业对算法、AIOps的能力逐渐变得不信任。

王教授表示,由以上这些误区引起的数据问题,带来了下述几种数据挑战:

1.数据无法深度关联:企业数据治理能力薄弱,异构数据的关联能力较弱,单类型数据过多无法统一。

例如:

将node、pod、服务、应用等信息做为标签添加到每条日志、指标、调用链数据中去,会发现出现大量的标签,存储压力猛增,同时由于浅层融合,各类型数据中的元数据普遍存在不一致。

2.数据管理不得当:数据存储效率低,缺少综合查询能力,离线实时数据割裂。

例如:

将指标(TSDB)、日志(ES)、调用链(RDB或GraphDB)等数据统一存储到数仓时,发现缺乏异构数据的关系代数或基于代价的查询优化技术等。

3.数据探索能力弱:数据探索能力被忽视,查询对象单一,不重视针对模型的反馈。

例如:

想要实现简单查询和算法功能时,发现缺乏融合查询+算法的交互式探索能力,缺少对复杂对象的查询能力,频繁对数据进行挖掘却不能获得价值反馈。

二、面向可观测性的数据处理解决方案

  • 数据灵活探索:制定灵活的探索流程,打造灵活的探索接口、设定灵活的搜索对象

  • 数据统一管理:建立异构数据查询系统

  • 数据深度关联:实现异构数据深度关联以及日志/告警中的实体提取

关于王鹏教授的分享内容就到这里啦,感兴趣的朋友可以关注微信视频号-擎创夏洛克AIOps,一键了解更多精彩内容)


​擎创科技,Gartner连续推荐的AIOps领域标杆供应商。公司致力于协助企业客户提升对运维数据的洞见能力,优化运维效率,充分体现科技运维对业务运营的影响力。

行业龙头客户的共同选择

​了解更多运维干货与技术分享

可以右上角一键关注

我们是深耕智能运维领域近十年的

连续多年获Gartner推荐的AIOps标杆供应商

下期我们不见不散

猜你喜欢

转载自blog.csdn.net/qq_37641528/article/details/130361060