维护数据仓库

在更传统的IT项目中,当一个成功的系统经过测试,部署和日常运营时,其开发人员通常可以坐下来随着用户的加入而享受当之无愧的休息,并将持续维护留给一小群bug-固定器和次要增强的提供者。至少在下一个主要发布周期开始之前。当今数据仓库的开发人员没有这样的奢侈品。

数据仓库成功的衡量标准仅部分由活跃用户的数量和满意度来定义。创造性决策支持的本质是用户不断发现新的业务需求,改变他们对所需数据的看法,从而每周或每月要求新的数据元素和结构。实际上,在某些情况下,需求可能每天到来!

这种对通过数据仓库定期向企业提供新的和更新的数据的敏捷性的需求早已被该领域的供应商和从业者所认识。不幸的是,过去很难实现这种敏捷性。现在,正在进行的业务数字化正在推动对新数据和新数据的更高要求。当前 - 在我看来,短视市场的想法是,充满各种可能的原始,松散管理数据的数据湖将满足这些需求。这种方法可能适用于非关键的,外部采购的社交媒体和物联网数据。但是,它实际上对通过数据仓库提供的具有法律约束力,历史性和(越来越多)实时内部和外部源数据没有帮助。

幸运的是,早期帖子中讨论的设计,构建和操作阶段中描述的Data Vault /数据仓库自动化(DWA)方法的敏捷和自动化特性也适用于维护阶段。实际上,可以认为这些特性在维护阶段比在早期的数据仓库开发中更为重要。

Data Vault数据模型的一个明确设计点是敏捷性。Hub,Link和Satellite表之间的一个关键区别是它们具有非常不同的使用类型和时间特征。这种关注点的分离允许数据需求的变化(频繁和由业务需求驱动)和数据源(不太频繁,但通常需要深入的“数据考古学”)单独处理,比传统设计更容易。实际上,数据仓库是根据良好的工程原理构建的,而数据集市则是根据用户需求进行的。通过在满足新需求时减少或消除现有表的返工,这种结构可以实现对仓库的敏捷更新的持续迭代,并持续到marts。有关其工作原理的高级解释,请参阅Sanjay Pande的优秀作品 “使用Data Vault架构实现敏捷数据仓库”一文。

正如我们在设计和构建阶段所看到的,Data Vault方法的工程组件和方法特别适合DWA工具的应用。然而,在维持阶段,DWA的优势变得更加明显。广泛的自动化对于维护阶段的敏捷性至关重要,因为它可以提高开发人员的工作效率,缩短周期时间并消除许多类型的编码错误。WhereScape Data Vault Express在其提供的结构,模板和方法中集成了Data Vault方法的关键元素,以提高团队的能力,从而充分利用潜在的自动化收益。

此外,WhereScape的元数据驱动方法意味着在后续迭代的数据仓库/市场开发中完成的所有设计和开发工作始终可供后续迭代的开发人员使用。这是通过WhereScape存储在关系数据库存储库中的大量元数据提供的,并直接提供给新表和/或填充过程的开发人员。此元数据在数据仓库(和市场)的开发和运行时过程中起着积极作用,因此保证比典型的单独和手动维护的元数据存储(如电子表格或文本文档)更加一致和最新。

此外,WhereScape自动生成自动维护的文档和相关图表,包括影响分析,跟踪前进/后退等。这些工件有助于理解并降低未来仓库变更的风险,允许开发人员发现并避免任何正在考虑的变更可能产生的下游影响。

确保维护阶段的敏捷性和成功的另一个关键因素是业务人员的持续和坚定的参与。WhereScape对整个设计,构建和部署过程的自动化模板化方法允许业务用户在仓库和市场的开发和维护的每个阶段中持续而密切地参与其中。

通过维护,我们走过了自动化仓库,市场,湖泊和数据保险库的旅程。在每一步中,将Data Vault方法与数据仓库自动化工具结合使用,可简化技术程序,简化数据驱动决策的业务路径。WhereScape Data Vault Express是实现全面灵活的数据交付和整个业务使用目标的又一重大进步。 

想要大数据学习资料 可以加QQ1480241848

猜你喜欢

转载自blog.csdn.net/D55dffdh/article/details/81303191