在这里插入图片描述
继 5 月举办的「连接 1 次孤岛，服务 N 个场景」主题产品发布会后，Tapdata Live Data Platform 现已实现功能特性的全面升级，并基于自身产品能力积极探索在应用场景层面的落地实践及无限可能。

在去年 6 月的 Tapdata 2.0 发布会上，自带 ETL 的实时数据平台 Tapdata LDP 带着最新的开源计划同大家见面。此后近一年的时间里，Tapdata 团队在 2.0 版本的基础上持续优化，不断改进与完善，以满足不断变化的用户需求和市场竞争的挑战。终于迎来了此次产品能力更加完备，性能表现更加优秀的新版本。相信它将为大家带来更好的使用体验和更加完善的服务，在未来的新一阶段为数据应用创造新的惊喜。

企业信息化发展 30 余年，带来的不仅有效率升级等经营优化，还有越来越无法忽略的数据孤岛难题。

在这三十年间，企业投入了大量资金和人力等资源成本，构建了各种各样的信息化系统来辅助企业发展运营。据统计，平均每家大型企业所拥有的业务系统数量大约为 463 套，小型企业和中型企业也是从几十套到上百套不等。这些业务系统大多独立为营，非但不能为今天的数字化需求提供帮助，还会造成新的麻烦和困扰，也就是如何让企业自身的数据真正能为企业所用的问题。

在这里插入图片描述
听起来是个如“探囊取物”般简单的需求，但哪怕只是想要基于业务经营、生产销售、或是客户反馈等信息进行洞察，从而制定相应的干预措施，提升客户体验，也远非易事，因为你会发现这些这些数据其实都来自于不同的业务系统，很难站到一个整体的视角来总结规律，或是从中发现问题的答案。这时往往就需要技术团队出手，来支持这些业务层面的诉求。

一、新十年的数据架构

想要把数据用起来，常见的方式主要有两种，一是大数据平台，二是近年来较为主流的现代数据栈，但二者解决问题的思路非常不同。

大象团队大数据：Go for Big

在这里插入图片描述

前者从建设一个大数据平台或大型数据中台的宏伟计划出发，一步步立项、做前期调研，收集尽可能多的业务需求后，再着手建设，过程中可能还需要招聘相应人才部署实施，一番准备工作之下，数月也只是弹指一挥间。而一个完整的大数据项目往往需要花费 1-2 年的时间，投入数百乃至千万级的总成本，才有可能真正落地并发挥成效。

事实上，孕育自互联网大厂的大数据解决方案，无论是价值点还是痛点都非常明确，一方面它确实在过去十年以专业的形象满足了我们普遍存在的数据需求；另一方面，随着我们对数据价值与内涵的理解日益深刻，也暴露出较为沉重、部署复杂、运维成本高、需要大量计算资源等问题，它对业务问题的响应较慢，无论是开发还是查询数据都是如此，获取洞察的周期也非常长。除此之外，大数据平台主要负责收集历史数据，与新产生的数据相比价值无疑要小得多。因此，会给企业带来 90% 的数据只能创造 10% 的业务价值这样的结果。

小兔团队走敏捷：Go for Quick

在这里插入图片描述

后者现代数据栈走的则是敏捷路线。首先，明确需要依赖数据解答的几个问题，再将这些问题围绕数据这条主线，拆分出关键的细分需求。例如最终目的是基于数据做洞察，第一步，需要将藏着答案的这部分数据收集上来；第二步，将数据存入数仓，按需进行分析等处理；第三步，可能需要用 BI 来展示第二步中得到的数据结果。此时，我们就可以轻松地根据每一步的需求，调研并分别选择最适合自身实际情况的工具和产品，对应地完成各个分步。

如果在选型时再能有意识地在云上做选择，只消数日就可以完成初步搭建，顺利对接系统，并开始尝试做一些基础的数据分析；数周就可以落地早期项目原型，前期投入大概在数千或数万元，虽然距离完整、成体系的数字化平台还有一定距离，但这样一个好的开头将给予企业更多继续投入的信息，而这个项目也得以不断迭代下去。

这便是现代数据栈的本质——由于云数仓兴起而出现的一系列数据工具生态系统。这些工具将整个数字化建设过程拆分成了各个模块，让企业能够从眼下的问题出发，根据业务需求进行选型再组合，而不是像过去那样，一口气建立一个大一统的数据平台或数据中台。因而具备如下特点：

云原生、可托管：极速搭建，低预算开始，可快速扩展
可组合、可插拔：选择多，无锁定，企业可以根据自身特定需求，在不同模块下选择最适合产品，打出理想的组合牌
自助服务：流程短，易迭代，见效快，无需供应商侧或技术人员的介入或从旁支持，即可自助上手

综合来看，现代数据栈对于企业想要降本增效实现数字化而言具有非常明显的先天优势。

二、Tapdata Live Data Platform：现代数据栈理念践行者

在这里插入图片描述
作为行业首个基于毫秒级实时同步能力，实现 DaaS（数据即服务）架构的数据集成及服务平台，Tapdata 便是这一理念很好的践行者，其在现代数据栈架构中的定位是数据采集、处理和准备阶段，也就是在数据源和数据业务目标之间，负责将数据采集过来后进行加工处理，并在抽象化后完成建模，供下游使用。
在这里插入图片描述

上图展示了基于 Tapdata LDP 的现代数据栈架构，Tapdata 在其中扮演着位于数据源和数据分析、数据应用中间的一个数据准备平台的角色。与普通的数据集成工具相比，Tapdata 多了一些缓存和共享服务的能力，目的是能够让它更高效地对一些常用共享数据进行多次复用，从而为企业带来降本增效的效果。

Tapdata 可以在阿里云、华为云等云上使用，接下来我们也将推进其在 AWS、微软 Azure，以及 GCP 等之上的部署。同时我们始终会结合国内环境，支持通过 PaaS 的方式在用户的数据中心进行部署，并承担起高效、可复用的数据准备工作。

理念开花：连接 1 次孤岛，服务 N 个场景

在这里插入图片描述
首先，数据集成的必要性毋庸置疑，但真正高效的集成方式，应该是每一次打通的数据都能够沉淀下来。一次连接企业的数据库或 SaaS 系统后，将需要的数据复制到 DaaS 中央缓存，并在 DaaS 直接发布 API，或推送给数仓、Kafka、AI 等。这样无论下游新增怎样的业务场景，都可以直接从这个中央化数据平台来取数，无需再诉诸源头成十上百的业务系统，单是效率上就有显著提升。具体应用场景包括：

① 实时数据同步
在这里插入图片描述
这是最简单的一类场景。Tapdata 已对接企业的各个数据源，采集到这些数据后，即可按照数据秦阿姨、数据入仓、新业务库等不同需求实现数据 1:1 的复制和实时同步。

② 搭建客户、商品、库存 360 视图
在这里插入图片描述
这是在零售或服务等行业都较为高发的场景，因为企业内部往往运行着多套CRM 或销售平台系统。以电商为例，由于销售平台覆盖淘宝、天猫、亚马逊、 Shopify 等多个平台，直接导致客户数据、商品数据、订单信息、库存信息散落在各个系统中， Tapdata 可以将这些多源数据汇集过来，建立一个多渠道的订单库存和商品模型，可根据库存管理、客户 360 等需求自由调用。

③ 快速搭建 BI 看板
在这里插入图片描述
BI 需求是我们在服务客户的过程中，发现的一个最高频，也是最常见的业务场景。在完成数据分析后，惯常以 Dashboard 或报表的方式来呈现洞察结果，在前两个场景中，我们已经展现了 Tapdata 在数据的对接、存储，模型的构建与 API 的发布方面的自身能力，如果这时再与 BI 产品完成对接，就又可以用作一个非常快速易用的 BI 数据准备平台，我们可以直接从已经整理好的模型中获取数据，即使是需要新的数据，也可以再到 LDP 中进行加工，为 BI 服务。

④ 创新场景拓展：为企业私有大模型供数
在这里插入图片描述
自 ChatGPT 发布以来，无论是底层大模型、训练框架、应用框架还是 GPT 插件等等各种新构想和产品层出不穷，为各行各业带来了深刻的变革和前所未有的机遇。而对于很多中大型企业而言，如果想用大模型为自己的业务提供更强的能力，或是希望实现智能客服优化等细节需求，这些开放式的 AI 往往并不适用，而是需要更多依赖企业私有大模型的部署，这就需要大量用到企业内部的数据资源。而 Tapdata 恰恰可以一键创建数据链路，为大模型供数，可用于支持模型训练、算法微调、Prompt Engineering 等需求。

产品结果：自带缓存的数据集成+服务平台 LDP

在这里插入图片描述

正是基于这样的理念和场景需求，Tapdata 自研推出了自带缓存的数据集成和服务平台 Live Data Platform（简称 LDP）。

为了更方便对接系统，我们提供了 60 多种数据源的自动对接，仅需简单配置即可完成数据的采集打通。

此外，考虑到如果想要支持实时交互式业务，数据就必须新鲜且保持随时更新，Tapdata 也非常重视数据在传输过程中的时效性，所以 LDP 采用了全链路实时的技术，首先以亚秒级的延迟从源头获取数据，并选用 MongoDB 作为存储，借由 MongoDB 对实时高并发更新的支持，来保证平台内数据与源头数据高度一致。

同时在这个过程中，LDP 在产品层面提供了低代码拖拉拽操作的能力，无需花费时间与代码纠缠，仅需拖拉拽就能完成数十种下游场景的无缝对接，快速服务于多个场景。

三、Tapdata 迈入 3.0：更多数据源、更多场景、更多功能与性能优化

企业对更创新、更敏捷、更有弹性的数字化系统和技术底座的追求，推动着数据工具的不断进化，继而反作用于企业的数字化转型之路的思维转变与效率升级。Tapdata 也在这样的浪潮中不断更新迭代自身的产品力，终于于本月迎来了最新升级的 Tapdata 3.0 版本，本次更新为企业版与云版同步发布，两个版本的用户都可以在第一时间享受到 Tapdata LDP 提供的最新能力。

What’s New in Tapdata 3.0

这些能力大致可分为以下几类：

① 更完整的数据连接支持：60+ 数据源，40+ 数据目标
在这里插入图片描述
对于一个数据集成和服务平台而言，对接的数据源和目标的丰富度尤为重要。在过去一年中，Tapdata 持续新增数据源头和目标十余个，累积支持数量已逾 100+。

在达成常见数据库几乎全覆盖的小目标后，开始正式支持 SaaS 数据源，首先以主流的电商系统和、CRM 系统等为起点，像是一键对接 Salesforce、Zoho、销售易等 CRM，拉取客户数据，实现客户 360，助力企业快速分析决策；抑或是一键对接 Amazon、Shopify 等电商，实现商品库存打通……逐步将成百上千的 SaaS 系统纳入 Tapdata 的数据连接库。

同时，Tapdata 还开拓了一些云数仓作为新的目标，其中包括常见的 BigQuery、阿里云的 Tablestore，以及国内新秀 SelectDB 等，真正为企业快速搭建自己的现代数据栈提供工具生态层面的帮助。

此外，Tapdata 正在关注的第三类数据源类型是具有国家特色背景的国产信创数据库，例如达梦、南大通用、人大金仓、 Oceanbase 等。国产化浪潮之下，基础软件自主可控迫在眉睫，越来越多的国内企业开始从 Oracle、MySQL 这一类海外数据库向国产数据库迁移，Tapdata 的能力恰好满足企业快速、无痛实现迁移的需求，有效推动信创行业国产化建设更进一步。

最后值得一提的是，虽然 Tapdata 已内置 100+ 数据连接器，但市场需求的步伐永远更快一步。为此，Tapdata 早在去年 4 月，就已经将自身的数据接口技术抽象化并开放了出来。眼下经过一年的打磨，Tapdata 开源的数据源插件开发框架 PDK 已经非常成熟。如果需求中的数据源或目标还未能得到 Tapdata 官方支持，开发者们通过非常完善的 API 框架和我们的向导，再借用一点自己的研发能力，就可以很快实现对接。如果是 API，基于 Postman Template 快速构建，1-2 天即可完成一套 SaaS 系统或是自研业务系统的对接；如果是 Database ，情况会相对复杂一些，大约需要耗费 3-5 天来实现一个数据库完整的实时对接能力。

② 更可靠的实时数据链路
在这里插入图片描述
作为 Tapdata 的底层核心能力，实时数据链路是支撑整个实时数据平台的基石。因此，为了让这一能力更加可靠和稳定，Tapdata 团队也一直在不断投入大量精力进行持续维护。

首先是在性能上的跃升，使用裸日志技术可以帮助 Oracle 等数据库的日志解析或同步性能达到10 倍优化；其次是用户常会关注的实时数据同步的延迟问题，既然延迟不可避免，那么不如在监测能力上多下功夫，为此，Tapdata 设计了毫秒级精准的延迟检测；同时提供了 20+ 指标的可观测性，帮助用户在排查问题的过程中更加清晰、精准地了解链路状态；此外，为了保障对数据情况的持续检测，Tapdata 还配备了实时校验的能力。

③ 更易用的使用体验
在这里插入图片描述
3.0 版本下的另一大重磅更新点，是上线了全新的数据控制台，也就是数据面板功能，这是在原本的 Tapdata 可视化、易用性基础上的一个更加直观的数据使用方式。

该数据面板呈现为包含 4 个泳道的界面，从左到右依次代表企业的数据源数据系统（Source）、Tapdata DaaS 平台的缓存层（FDM）、主数据层和加工层（MDM），以及目标层（Target & Service）：

在 Source 层的话，可以通过点击【+】快速对接数十套业务系统，包括数据库、文件、SaaS 以及自建应用等，非常方便快捷，只需要简单配置即可完成并得到源数据信息；
之后就可以直接通过拖拉拽的方式，将源数据拖入平台的 FDM 层，完成 1: 1 的数据复制；
再来到 MDM 层对这些表信息进行合并等集成加工，搭建模型；
最后来到目标服务层对其进行发布，为下游各类需要这些数据的场景供数。

通过这样的数据面板，用户可以一目了然地看到自己的数据从源头到平台再到发布 API ，服务各业务场景的全过程，包括其在平台上经历了怎样的加工。

接下来，Tapdata 还计划增加数据溯源功能，支持用户快速查看数据来源。

④ 云上首推全托管商业化服务
在这里插入图片描述
在上述更新点之外，全托管云服务也是本次更新中一项值得大家期待的新增产品能力。此前，Tapdata 更多依赖于企业版或是开源版这样的线下部署版本为大家服务。而 Tapdata Cloud 自上线起则一直作为公测版本存在，并未开启商业化能力。

如今搭载 3.0 上线的契机，Tapdata 怀着对云版稳定性与产品能力的绝对信心，正式官宣开启云版商业化。

在此次发布的云服务里，Tapdata 首次提供两种产品能力模式，一是实时数据集成，可用户数据入仓或数据同步等相对简单的场景；二是新增的实时数据服务，可以直接用来支持 BI 看板，乃至数据平台和数据中台等。

同时提供两种托管模式，其一是一直以来都在支持的半托管模式，需要由用户提供设备来部署和运维 Agent，需要使用用户自己的计算资源来进行数据采集和加工处理，好处在于可充分利用现有硬件资源，可以在自己的数据中心内使用，安全性更高；另外一种则是新增的全托管模式，由 Tapdata Cloud 提供 Agent 运行所需的计算/存储资源并自动部署，同时提供统一的运行维护和资源监控以提升运行可靠性，可实现一键交付使用，免去部署和运维精力，专注业务本身，真正的开箱即用。支持用户按需选择。

Tapdata Cloud vs. 其他云上数据集成产品

在这里插入图片描述

下面让我们以某国内公有云上一个类似的数据集成产品，以及某海外产品为参照物，来具体对比了解 Tapdata Cloud 的关键能力与优势。

首先来看各产品在云服务的共识性优势“价格”和“易用性”上的表现：

价格：不同于花费较高的按链路数量计费（如 MySQL → MySQL，MySQL → ClickHouse 算作两条链路），以及更为高昂的按数据同步行数计费，Tapdata 采取对用户更加友好的定价模式——按实例规格计费（如 4C8G / 8C16G），取决于用户自身的数据流量，不限链路。该模式最大好处在于，价格相对明确的，所需成本也相对较低。
使用体验：数据同步后的加工处理无疑是必要环节，不同于其他云产品在使用时需要与其他数据处理工具相结合，Tapdata 自带内嵌的处理能力和 UDF 自定义功能，可以非常高效、便捷地满足这部分需求，具备亚秒级同步延迟的实时性优势，支持数据 API 发布与集成存储等。

除此之外，Tapdata 还提供了一个小规模的永久免费计划，这也是面向一直以来支持我们的云版用户的独有承诺。

四、面向生态伙伴：Tapdata 生态共创计划发布，携手行业伙伴 100+

现代数据站的理念核心充分展现了组合的力量，而 Tapdata 也一直相信生态合作 1+1＞2 的长远意义。借着本次发布会的机会，Tapdata 官宣 2023 生态共创计划，详细介绍了接下来在生态合作伙伴方面的布局和发展规划。

为什么选择 Tapdata 为合作伙伴？

Tapdata 作为现代数据栈架构中的关键一环，拥有成熟稳定的产品能力，和丰富的应用场景支持，能够为我们的合作伙伴创造以下价值：
在这里插入图片描述

提供高质量产品，创造更大利润空间
Tapdata 的数据集成能力，可以大大降低伙伴的实施周期，从而争取更大的利润空间。作为一家产品型公司，对于暂不支持的功能，如果存在需要且是产品路线图上的，我们会将需求纳入迭代管理，并以产品的方式交付给伙伴。
Tapdata LDP 个性化行业解决方案
Tapdata 根据客户不同的需求，为伙伴提供个性化的解决方案能力，伙伴可以在 LDP 上，根据自身所在行业的 know-how，定制相关方案。
Tapdata 更多价值
- 提供更多产品线：不断扩展产品线，包括无代码数据集成平台、低代码数据开发平台、无代码数据服务平台等，满足行业客户的需求，提高销售额和利润，同时也为渠道合作伙伴提供更多的销售机会和利润；
- 提供专业的技术支持：以在线咨询和专人对接等形式，为渠道合作伙伴提供专业的技术支持，帮助其解决客户问题和难题，增强合作关系；
- 建立长期合作关系：通过合作共赢，实现双方的长期利益最大化，增加信任度
- 提供专业的市场营销支持：例如合作举办行业峰会，提供市场分析、行业趋势、竞争分析等，帮助合作火把更好地了解市场和客户需求，提高销售效率
- 提供定期培训和交流机会：Tapdata 将定期举办培训和交流会，分享行业和产品的最新动态、技术趋势、最佳实践等，提高合作伙伴的专业知识和技能。钛铂大学也将不日上线。