作者 | 宋慧
出品 | CSDN云计算
数据的价值和技术应用，获得了全行业的关注、认可和重视。
不过，数据赛道百家争鸣，数据系统的技术与行业方案众多，对于开发团队和用户来说，其实仍然需要耗费大量调研和分析的时间。
近日，Gartner 云数据库魔力象限的领导者、混合数据系统厂商 Cloudera 举办了 2023 年客户大会，会上 IDC 分析师分享了对于数据系统市场与行业方案的最新趋势分析，Cloudera 则带来了最新的技术与应用方案，以及金融等行业应用案例。
在开发者群体的印象里，Cloudera 最知名的，是大数据 Hadoop 背后的商业技术公司，不过现在 Cloudera 已经进一步将自身定位为混合数据公司。据介绍，Cloudera 全球有超 10 亿美元营收，年增长率超过 100%，在全球 90 多个国家，管理总数据容量超过 25 艾字节，节点数量超过 50 万。并在 2022 年被 Gartner 评为魔力象限云数据库管理系统领域被评为领导者。
采访中，Cloudera 大中华区区域副总裁王刚也分享了 Cloudera 在中国市场的成绩，短短两年时间里，有 83%中国客户已经完成了（或部分完成，含逐步实施）CDP 升级。（2019 年，Cloudera 与 Hortonworks 合并后，对 CDH 和 HDP 两条产品线高度重合的部分删减和融合，推出新一代的数据平台 Cloudera Data Platform，简称 CDP。)
Cloudera 这些成绩，从侧面显示了数据系统市场的快速发展。对于数据系统发展趋势，IDC 中国研究总监卢言霞在接受 CSDN 采访时表示，云的普及以及对于数据的安全合规性要求，让数据系统在多云部署成为必然趋势。不过卢言霞也指出，不同行业、不同企业，数据规模与技术能力千差万别，除少数大型企业之外，“大部分企业仅处在数据平台和数仓建设阶段”。对于数据孤岛，烟囱式的数据系统现状与问题，卢言霞表示接下来或将有逻辑数据湖类的技术去解决。
会上，卢言霞详细分享了不同行业大数据建设的差异
现在的 Cloudera，则正是提供数据编织、湖仓一体、数据网格和未来数据生态系统架构要求的混合数据平台的混合数据平台。
Cloudera 混合数据平台
从图中我们能清晰看出，Cloudera 的混合数据平台可基于混合云与多云部署，提供数据编制编排后，统一提供 AI、BI、机器学习等数据分析与应用产品。
本次大会 Cloudera 也重点强调了 Cloudera 混合数据平台 CDP 对数据科学与 AI、机器学习的支持。例如 Cloudera Machine Learning(CML)可以为机器学习生命周期提供端到端的工作流程支持，以及覆盖从数据专家到数据分析师等各类用户的协作式、一体化商业智能与增强功能。
大会发布的另一个重要的技术点，是 Cloudera 在数仓和数据湖的基础上，新增了对实时数据的支持 DATA-IN-MOTION。其中包含三大块组件，分别是：
1、DATAFLOW：是通过 Apache NiFi，让开发人员可以连接各类节点、来源、结构类型的数据，处理加工并交付到各处，并通过低代码去实现。
2、STREAM PROCESSING：是通过 Apache Flink and Kafka，提供完整的企业级数据流管理，提供例如 SQL 等标准界面，让开发人员、数据分析师和数据科学家搭建各类实时的混合云应用。
3、CLOUDERA SDX：通过 Apache Ranger & Apache Atlas 工具，保证数据流安全可控，监控与有效治理。
另外在采访中，Cloudera 大中华区技术总监刘隶放特别分享了 Cloudera 在重点研发的三个技术领域与方向，值得重点提一下：
1、PVC DS - Data Service 私有云数据服务
适合新应用
• 内置工作负载隔离
• 价值实现时间加快 10 倍
• 数据中心基础设施减少约 50%
• 按应用自主升级
• 重新设计的管理和用户体验
适应现有应用
• 存储和 SDX 位于同一位置，统一的安全策略管理
• 查询性能最高可提高 5 倍
2、引入 Iceberg
Cloudera 实现开放的湖仓一体架构，在单一平台支持 AI、BI、ML 和数据工程。
对开源社区支持：
• 务实的方法与我们的 OSS 根源保持一致 开放的生态系统:
• 提供一个开放的生态系统来选择跨数据生命周期的最佳分析引擎
• 开放的生态系统 = 选择和减少锁定
对多元化社区：
• Apache Iceberg 提供多样化的社区支持
3、分布式、可扩展和高性能的对象存储 Ozone
扩展到数十亿个对象
• 解决小文件问题
• 通过支持 10B 对象移除 HDFS 规模限制
• 更轻松的操作，更快的重启和维护
提高存储密度
• 每个节点支持 400-600TB
• 纠删码将存储需求从 3 倍减少到 1.7 倍
• 每个集群最多支持 1 EB
AWS S3 API 兼容性
• 开放仓湖一体集成
• 混合数据管理基础
• 具有快速恢复功能的云原生双活架构
具体到行业场景的数据应用的需求各不相同，不过Cloudera的技术研发方向值得数据行业的技术开发者重点关注和参考。CSDN也将持续报道Cloudera与数据系统技术的最新发展。