银行数据类系统建设

数据仓库建设

数据仓库的概念 

数据仓库是大批量数据的存储系统，在如今PB级数据量的大数据时代，传统数据库由于数据量的限制，无法存储如此庞大的数据量，因此对于需求海量数据的机构大都会将数据存储在数据仓库中，用以取数和分析。

数据仓库的分层

数据仓库一般会从业务源系统取数，存储在ODS层。这一层存储的都是颗粒度最细的明细数据，由于直接从源系统取数，所以这一层的数据大多是缺乏加工处理的脏数据。

再上层是主题数据层，一般来说数仓的主题层可以分为十大主题，包含客户、机构、产品等。通过对于明细数据的加工，将明细数据划分到各个主题下。

再上层是指标层，里面是对于主体数据再次加工，形成对于业务有分析作用的指标。有些情况下，这一层也是集市层，不同业务线的指标存储在对应的数据集市中。在这一层，也会形成一张大宽表，供用户取数。

常见的数据仓库

Hive, GaussDB等

数据仓库和数据库的区别

数据仓库是做分析的（Analytic），数据库是事务性的（Transaction）

对于银行或其他业务系统要求业务时效性的，一般使用事务型的数据库，然后再批处理到数据仓库进行分析。

其他名词

流批一体：实时同步和批处理相结合。

湖仓一体化：数据仓库和数据湖相结合，放在同一个文件存储系统里（如HDFS）。

银行指标体系建设

指标体系建设方法

各家银行的指标体系根据其自身业务体系和现有数据会存在差异。建设指标体系一般需要自上而下和自下而上相结合。

所谓自上而下，就是先确定总体框架，把指标分类体系做好，横向分类，纵向分层。

自下而上，根据现有的数据向自上而下建立的指标分类体系进行填充，建立对应的指标。

全行指标建设需要多部门协同，而对于大行来说，各业务线也会建立满足自身业务的指标体系，来辅助上层决策。

指标体系示例

指标体系的梳理最终要形成指标模型，指标模型包含了指标分类、指标名称、指标含义、单位、频度、来源系统、负责部门等等。

全行指标体系

以某银行为例，全行指标分类大体可分为风险指标、经营指标、客户指标、营销指标、运营管理类指标。

再细分可分为产品业务指标、产品运营、对公营销、客户分析、客户拓展、渠道业务、市场风险、信用风险、综合业务、其他指标。

部门、条线指标体系

人资指标体系-人资指标体系可划分为选、用、育、留、生产力、投资、能力、风险等主题。

企金指标体系-企金条线的指标体系可划分为贷款、存款、财富、代发、供应链金融、跨境融资、国际结算、企业网银、投资银行、普惠金融等领域，一级分类可划分为客户管理、营销管理、产品定价、风险管理、财务管理、经营绩效、监管报送和其他；

数据中台建设

中台概述

数据中台的定位在于整合、存储、管理、分发和应用各种数据资源，促进数据驱动决策、业务创新和数字化转型。数据中台通过强大的数据存储、清晰、计算能力，将多个数据源的数据整合到一个统一的数据底座，为上层各业务系统提供底层的数据基座，为各业务团队提供相应数据应用服务，包括指标体系搭建、风险应用、投资策略等。

应用场景

1. 交叉营销

数据中台整合来自多渠道数据，通过分析客户的历史交互、购买行为和浏览记录，构建全面的客户画像，利用不同产品或服务之间的关联性，识别潜在交叉销售机会，对客户进行个性化产品和服务推荐，吸引客户采购更多产品或服务。

1. 实时风控

数据中台可实时监测大量交易及操作数据，构建风险评估模型，识别不同类型的风险。基于数据挖掘和风险模型，数据中台识别可能的欺诈行为，如信用卡欺诈、身份盗用和网络攻击等。

1. 客户画像

数据中台整合来自不同渠道和数据源的信息，提供清洗和修复不准确数据的能力，通过分析客户的历史行为，生成客户分析报告，从客户个人信息、偏好、购买历史、互动行为等维度评估客户的综合概况，预测客户的需求和行为，以制定更有针对性的营销和服务策略。

方案价值

1. 统一的数据归集：整合来自多个数据源和渠道的数据，提供一体化数据视图，消除了数据孤岛，形成数据合力。
2. 智能的数据分析：基于统一的数据关联与分析，挖掘数据间的联系与价值，实现智能分析与风控。
3. 完善的客户画像：创建完善的客户画像，识别客户需求和行为，推荐个性化的产品和服务，提高客户满意度和忠诚度。
4. 丰富的数据视图：数据中台提供丰富的数据分析和可视化工具，有助于决策者更好地理解数据、发现趋势和制定战略决策。

银行应用

基于数仓和集市的建设，为上层应用提供了底层的数据支撑。

管理驾驶舱

1. 客户痛点

银行对于日常各种口径、业务条线、场景下的指标需要快速浏览、查询，通过管理驾驶舱一目了然地了解当前业务状况，行方有多个系统的数据，需要将这些分散的数据整合到一个集中的平台，方便领导进行数据分析和对比，从而更好地了解业务的细节和趋势。

2. 技术、产品、解决方案及服务；

方案概述

管理驾驶舱系统整合财务数据集市和资产负债组合查询系统的指标数据，结合人力系统、核心系统构建基础指标模型及维度信息数据，通过派生计算完成复合指标计算，基于杜邦分析对集团经营核心指标进行分解，梳理各层级指标的层级关系、影响关系。在保证数据的完整性和一致性的基础上，更好地为决策支持提供数据支撑。

各源系统按EDIP格式要求导出数据文件，EDIP数据交换平台将数据文件分发至管理驾驶舱系统。管理驾驶舱系统将数据文件的数据采集数据接入层，对数据进行统一标准、统一格式等标准化处理后，存放至数据标准层。对数据标准层数据按照维度、事实方式建模，构建数据模型层。在数据模型层之上，对数据进行整合，并按照业务计量规则计算复合指标，建立业务指标层。最后通过展现接口层向应用展现提供接口数据，供前端展现生成经营大屏、PC端管理驾驶舱、移动端管理驾驶舱。

功能介绍

本方案包含基础平台、调度平台、数据模型、指标体系、应用展现等模块的建设。

基础平台提供数据处理平台，该平台是数据存储、加工、计算和查询分析的基础平台。对财务数据集市、资产负债组合查询系统、核心系统、人力系统等外部数据整合到指标平台中，以便后续管理驾驶舱的加工和使用。

调度平台对每日批量执行的采集、加工、计算任务进行有效管理和监控，以保障平台的数据采集、加工和计算的有序和有效。调度平台提供对作业执行参数、作业间依赖关系和作业组的管理。在管理驾驶舱系统和指标平台上对作业配置和管理好后，需要能直观方便的查看每个作业的执行情况，包括开始执行时间和结束执行时间，执行状态，执行时长等。若发现有作业执行失败，需要能方便查看失败原因，以便解决问题。

在数据模型的建设上，整合当前财务集市、资产负债组合指标数据、人力信息、机构信息、统一报表指标、智能台账补录数据，按照业务场景及指标平台口径去加工多维度指标数据，并加工成接口导出给指标平台使用。

指标体系建设搜集并整理业务关心的指标，对指标进行分级分类，如可以按产品类指标、资产类指标、交易类指标来分类；每个类别下还可以有二级分类，比如产品类指标可以细分为生息资产产品、付息负债产品和非息产品等；每个类别下包括具体的指标，如产品类指标包括产品的规模，净值，收益率等。梳理好指标分类，并建立指标目录，方便业务人员查询使用指标；业务人员可通过趋势、分布等类型图表，更形象的理解指标数据、了解业务现状和发展；提供业务人员进行指标图表配置的功能，生成基于同维度指标的数据可视化图表，并记录处理人等相关信息；基于杜邦分析（综合指标分析），对集团经营核心指标，进行综合指标分解，梳理各层级指标加工过程中的层级关系、影响关系。

在应用展现方面，提供PC端和APP端的驾驶舱展现，通过使用加工后的各类指标数据，提供多元化的数据结果展示，包含经营大屏展示、PC端报表展示、移动端APP展示，分别实现如仪表盘、柱形图、折线图、饼形图、雷达图等数据图形化展示，直观的将数据展现给决策者。多元化应用展现会根据权限级别分别展示数据，不同级别、不同权限、不同人员看到数据相互隔离，保障数据的安全性。另外根据可以客户的自定义选项，固定登录配置的展示数据；在保障数据安全的前提下，满足业务部门需求，充分发挥数据价值。

管理驾驶舱整理决策层战略目标指标，对指标进行分类，按照业务规模及结构指标、盈利能力指标、同业对比来分类。每个类别下还可以有二级分类，比如规模类指标可以细分为存款按客户划分规模、存款按产品划分规模等，全面服务于战略管理闭环，促进战略的执行。

3.技术亮点

架构上采用前后端分离的架构，“前后端分离”已经成为互联网项目开发的业界标杆，通过Tomcat+Ngnix，有效地进行解耦。

前端采用Vue的框架，Vue是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是，Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层，不仅易于上手，还便于与第三方库或既有项目整合。另一方面，当与现代化的工具链以及各种支持类库结合使用时，Vue 也完全能够为复杂的单页应用提供驱动。

后端采用Spring Boot框架，Spring Boot内置了Tomcat、Jetty和Undertow等多种Web服务器，可以将Web应用程序打包成一个可执行的JAR文件，方便快速部署和运行。

4.项目效果

管理驾驶舱作为反应全行、各分行行级经营状况，传达战略级的媒介，准确展现机构整体状况，实施更新展示数据，辅助领导层决策。截至目前管理驾驶舱系统运行稳定，已在行内推广使用，集团旗下各子公司的相关数据相继纳入到管理驾驶舱的应用展示中，本项目获得客户的好评并且获奖。

5. 对客户的价值

1. 实现多元化展示管理。通过使用加工后的各类指标数据，分别提供经营大屏展示、PC端报表展示、移动端APP展示，实现数据图形化展示，如仪表盘、柱形图、折线图、饼形图、雷达图，并根据权限级别分别展示数据、根据客户的配置定制化的展示报表数据，在保障数据安全的前提下，满足业务部门需求，充分发挥数据价值。
2. 实现统一的指标数据模型。管理驾驶舱系统从指标平台、资产负债系统等多个系统抽取指标数据，将数据整合后，对数据进行标准化处理，实现统一数据类型，统一数据标准，统一数据字典等。
3. 形成完善的业务指标体系。本项目建设完善的指标体系，包括指标规范、指标管理和指标加工计算。同时对数据标准、数据质量、数据安全、数据生命周期管理、血缘分析、数据脱敏等方面的进行管控，以保障数据分析平台的数据安全可靠完整。

绩效管理系统

1.客户痛点

指标管理系统

1.客户痛点

客户在指标的管理和使用上都存在一些痛点问题，如：指标口径不统一、指标来源分散、指标开发周期长、难以支持时效性强的应用场景、缺乏指标的全生命周期管理等等。

2.技术、产品、解决方案及服务

1. 产品功能

1. 门户系统，这是指标系统的唯一应用入口，整合了用户、菜单、权限等信息，实现用户单点登录和使用。
2. 数据湖保存了所有的指标结果数据，当中窄表主要用于指标管理，宽表则用于对外提供服务。
3. 外围系统是指标在开发和应用过程中，将会和多个外围系统进行交互，包括：项目管理系统、离线开发系统、数据资产系统、元数据管理系统、调度平台、数据标准系统、数据服务子系统等。
4. 指标数据服务功能，在指标库的设计中，对数据服务这部分进行了特殊的设计，后续只要通过配置和外围系统的少量适配性开发，即可向不同系统提供指标数据服务。
5. 指标子系统，其中包括了应用模块和基础服务组件，为指标系统中所有功能提供支持。应用库主要保存指标子系统的配置信息，包括指标定义信息、维度定义信息、指标开发信息等等。

其中指标子系统包含：

首页展示

以图表的形式展示基础指标、衍生指标数据统计，如指标的数量变化，统计API使用情况，提供按部门、主题分组进行展示。

指标查询

提供指标结果查询功能，支持在界面上拖入相同主题下的指标对指标数据进行查询，可支持同时查询多个指标。支持根据维度进行过滤，筛选特定时间段的数据，分段查询，对单个指标能进行如下开窗函数(min,max,avg,sum)的查询支持。

提供图表生成功能，支持对指标的查询结果生成图表，如折线图，柱状图，饼图等。

提供指标查询草稿保存功能，支持在查询的过程中，将查询条件保存下来，后续再次进行查询时，可以直接进行查询，而不用再次输入条件。

提供指标结果下载功能，可申请下载指标查询生成的结果数据，但是下载前需要有相关人员的审批。

提供指标树功能，指标查询的过程中需要从指标树中拖入需要的指标进行查询。

指标任务

提供指标任务清单功能，指标系统从项目管理系统中同步所有需要开发的任务。

提供指标配置功能，指标的配置是指配置指标业务定义，指标口径等业务信息，配置完成后提交给业务人员进行审批。

提供指标业务定义审核申请，在指标的业务定义完成以后，需要提交给业务人员进行审批，保证指标业务含义准确无误。

提供指标开发功能，包括多维度指标开发、指标开发单元测试、指标作业依赖配置、指标开发技术审批。指标开发过程中，用户选择一个维度或多个维度进行条件过滤或分组操作；指标开发完成后，单元测试功能可以测试出SQL语法是否正确；指标开发时需要知道基础指标的前置作业，提供每一个指标的作业的前置配置，调度系统可以在进行指标作业时调用执行其前置依赖；单元测试后提供审批功能。

指标管理

提供指标订阅功能，指标的定义在全行范围内对所有部门的人员可见，但只能查看当前用户部门的人员所创建的指标的数据，如果需要访问其他部门人员所创建的指标数据，需对指标发起订阅申请，由指标所属部门人员审批通过以后，才可以查看订阅的指标数据。

提供指标血缘功能，指标创建完成以后，在对指标资产进行同步以后，可以通过源数据系统查看到指标的血缘信息。

提供指标上架功能，指标在完成开发，单元测试以后，流转到离线开发系统进行局部测试和集成测试，测试通过以后，离线开发系统触发作业投产，通知指标系统，将指标状态修改为待上架，指标系统用户触发上架操作，系统将指标信息同步到数据资产系统，然后指标状态正式更改为已上架。

提供指标下架功能，对于长期不使用的指标或者经用户判断不在有价值或逻辑错误的指标进行下架处理。

提供指标管理功能，对用户自己部门的指标或者已经订阅过的指标数据进行查询。

维度管理

提供维度定义与维护，对指标系统内的维度进行增加/修改/删除和查询操作。

提供维度码值维护，码值具有层级关系，目前系统只支持两级层级关系，码值也可以通过导入外部文件进行添加。

审批管理

提供指标业务定义审批功能，指标的业务定义完成以后，提交个业务相关人员进行审批。

提供指标技术逻辑审批功能，指标在开发完成并进行过单元测试以后提交给技术经理进行审批。

提供指标上下架审批功能，指标在触发上架和下架操作前，都要向相关人员发起审批申请。

提供指标订阅申请审批功能，不同部门的人员需要查询指标数据时需要发起申请。

提供指标结果数据下载审批功能，下载指标数据时，需要发起审核申请，指标创建人员的部门经理可以对审批进行批复。

数据探索

提供衍生指标固化需求功能，衍生指标的结果默认不落地，如果有落地需求，需要业务人员发起固化任务。

提供衍生指标开发功能，衍生指标是将基础指标进行四则混合运算所产生的指标。

提供衍生指标数据预览功能，根据衍生指标的技术表达式，将指标转化为SQL语句，查询出指标结果。

提供衍生指标数据下载功能，对衍生指标查询的数据进行下载。

指标下载

提供数据下载申请结果查询，发起数据申请下载流程的用户可以在这里查看批复结果，对批复拒绝的审批可以再次发起申请。

提供指标结果数据文件下载，数据下载的申请批复通过后，用户可以直接下载之前申请下载的数据。

1. 技术架构

本系统采用前后端分离、微服务的架构设计，前端采用VUE + ElementUI/AntDesign框架，Restful API，后端采用SpringBoot框架，结合TdSQL、Redis内存数据库进行数据存储，采用高可用的分布式部署。

1. 业务流程

用户在门户子系统登录后，在项目管理子系统中提出指标需求，将指标需求派生出子任务，任务流转到离线开发子系统，由开发人员对需求子任务分解成开发子任务，开发人员在元数据管理子系统中生成数据模型，任务流转到指标子系统中，将数据治理管理子系统中的数据标准和对应的开发指标进行关联，开发人员生成指标数据模型，然后开发出组合或者派生指标。同样在指标子系统中，指标开发完毕后对指标进行审批和上架，上架后同步到数据资产管理子系统登记为数据资产。元数据管理系统同步SQL配置信息，作业调度子系统完成指标的调度作业并在数据湖中生成指标作业结果数据。

指标结果数据生成以后，用户可在指标子系统中查询指标结果，由数据安全管理子系统执行脱敏处理。

3.技术亮点；

微服务架构：前后端分离、微服务的架构保证了系统的可拓展性。

认证鉴权：提供服务认证和鉴权统一接口，在和第三方系统对接时，增强了对隐私数据的保护。

分级管理：对用户进行分级管理，严格控制用户的权限，对于普通用户，禁止给予数据库建立、删除、修改等相关权限，只有系统管理员才具有增、删、改、查的权限，保护系统数据。

参数传值管理：程序员在书写SQL语言时，禁止将变量直接写入到SQL语句，必须通过设置相应的参数来传递相关的变量，从而抑制SQL注入。

基础过滤与二次过滤：SQL注入攻击前，入侵者通过修改参数提交and等特殊字符，判断是否存在漏洞，然后通过select、update等各种字符编写SQL注入语句。因此防范SQL注入要对用户输入进行检查，确保数据输入的安全性，在具体检查输入或提交的变量时，对于单引号、双引号、冒号等字符进行转换或者过滤，从而有效防止SQL注入。

4.项目效果

指标子系统作为昆山农商行数据中台的一部分已成功上线，与其他数据中台子系统完美结合，目前运行平稳，正常地帮助相关业务、数据人员进行指标的相关服务。

5.对客户的价值

01 快速高效生成各类指标：

自助式指标定义，一站式指标开发，打造指标定义、开发、测试、投产的任流程管理，提升指标开发效率。

02 指标全生命周期管理：

借助指标管理模块，全方位针对指标执行订阅、浏览、检索、定义、上/下架等操作，提供完整的指标生命周期管理。

03 灵活多样的指标服务模式：

借助强大的前端展示组件，支持可见即可得的指标数据展示、图表展示、条件过滤、汇总统计等多种不同的数据服务方式，满足业务人员不同的指标使用场景。

同时对于拥有数据开发能力的分析人员，提供类SQL指标开发模式，为用户提供使用方便，提升用户体验。

监管报表系统

技改平台

数据质量系统