导读：原文《129页4万字某智慧能源集团数字化管理平台项目建议书WORD》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。

SAP建议的XX大数据整体架构设计采用分层实现，垂直数据治理与管控结构。如图3.3 XX大数据平台整体架构所示，整体架构从数据源开始自下而上分成：数据源层；数据集成与存储层；数据建模层；数据分析服务层；数据应用创新服务层；服务门户层；数据治理和配置管控垂直贯通。

             图3.3 XX大数据平台整体架构

3.3.2 解决方案说明

数据源层涵盖XX现有的所有业务类型数据，和外部数据。

生产运行领域自动化化与信息化有：XX自主研发的SCADA集中监控平台，IBM风场管控EAMsystem。对于这部分数据，大数据平台既可以当做事件流处理，也可以作为传统静态数据批量抽取转换加载（ETL）。

经营管控领域信息system有：SAP ERPsystem，达索PLMsystem；大数据平台可以通过SAP SLT实时同步SAP ERP数据，通过Data Service ETL集成PLM数据。

外部公共数据有：天气、气候，水文，地理信息，环境数据等；大数据平台对这部分处理主要通过Hadoop平台集中存储，通过HANA内存数据库统一建模访问。

数据集成与存储层是整个大数据平台核心。以SAP HANA内存计算平台作为核心，是采用ShareNothing的分布式system架构；提供基于分布式文件system的Hadoop数据存储服务；system架构天生具备大规模并行处理能力和横向纵向扩展能力。大数据核心平台具有一次建设，分步骤扩展的能力；平台规模在扩展的同时在技术上不需要增加额外技术或产品。在海量数据存储方面采用数据温区分层设计，常用结构化数据作为热数据存储在内存中，通常的数据规模是TB级；历史结构化数据作为温数据存储在磁盘列式数据引擎中，数据规模10TB—100TB；非结构化半结构化数据或无法直接分析的数据作为冷数据，存储在Hadoop中规模可以达到PB级。数据访问统一由HANA内存平台实现。

数据建模层是基于数据存储层的虚拟层，利用SAP大数据平台的HANA内存中视图建模功能实现；在本方案中划分为两个数据模型区：风机、风场数据整合服务和经营管控数据集市。

风机风场数据整合服务包含：风资源数据模型，产品数据模型，风电场数据模型，机组运行数据模型等。

经营管控数据集市是面向企业经营管控的，涵盖：经营利润分析类，预算分析采购计划类，主生产计划类，主需求计划类，市场分析类，经营成本类，结算回款类，库存周转类，现场计划类，物流配送计划类，销售价格类等企业管控指标及报表。企业经营管控驾驶舱和数字董事会看板是这个模型集合的典型应用。

数据分析服务层：分析服务是利用大数据技术从数据中挖掘出利用价值，实现数据快速变现。这部分工作可以在大数据平台搭建完成后在后续阶段联合合作伙伴和SAP数据科学服务、客户专家团队联合开展。

数据应用创新服务：涵盖交付实施服务，智慧运维服务，远程预警服务，业主SaaS应用。

服务门户：提供集成与协作门户，涵盖厂商应用门户，风场应用门户，客户应用门户。

数据治理与配置管控：大数据平台提供垂直到每一层的元数据管控，数据相关质量管控，数据模型管控，数据配置管控，数据标准管控，数据安全管控。

3.3.3 需求应答

1、 提供分布式的system架构，通过简便扩展服务器硬件资源来提升整体system的并行计算能力。

回答：SAP 大数据平台天然的就是分布式system架构；可以向上扩展或横向扩展服务器硬件资源来提供整体system的并行计算能力。

2、 提供分布式的文件system，通过简便扩展服务器存储空间来增加整个system的存储容量和并行I/O性能，同时能高效处理海量数据(PB级)。

回答：SAP HANA大数据平台能够通过Vora融合Hadoop分布式文件system；不存在IO性能瓶颈，能够处理海量数据。

3、 提供分布式内存计算能力，通过简便扩展服务器内存来增加整个system的内存容量，提升整个system的快速响应能力。

回答：SAP HANA只需要增加内存就可以增加system的计算能力，线性提升system的快速响应能力。

SAP 大数据平台核心优势总结：

1. 实时分析，实时预测：业务数据实时同步；所有热点数据在内存中存储、在内存中计算，实现实时报表和实时分析；

2. 数据唯一，减少数据冗余： 在SAP HANA的分层架构中，各层数据不落地，减少数据冗余，减轻数据维护的难度，从技术上尽量避免出现数据不一致的风险；

3. 平台开放，逻辑灵活：  SAP HANA支持多种数据源接入，整合了多种数据采集工具，针对不同的数据源类型提供不同的工具和手段；模型按层划分，逻辑清晰，架构稳定性非常好；

4. 跨平台访问，全数据覆盖： 在统一界面中实现对跨平台的数据访问，热点数据和历史数据无缝集成，大大降低了用户的使用门槛；

5. 数据权威，信息安全性高：核心数据和应用保持同步，可回溯可审计；

6. 多种样式的展现形式和访问的方法：可实现各类报表、交互式分析、即席查询、数据探索、仪表盘及移动应用等方式方法，满足不同人员方便、直观、可视化的分析需求；

3.2 数据仓库

3.2.1 数据仓库架构

本方案提供以SAP HANA为中心的可扩展数据仓库架构，是面向未来的数据管控平台，无缝支撑分析应用的数据仓库架构；也是支撑大数据和数据湖泊的一体化的架构。如图3.4 SAP HANA数据仓库平台所示。

                如图3.4 SAP HANA数据仓库平台

满足标准的基于SQL及BW风格的数据仓库，实现…

• 满足未来需求：逻辑数据仓库；支持动态变化的system布局支持云部署与混合部署；集成所有数据类型及大数据技术；横向扩展，支持海量数据及数据湖泊。

• 超越其他数据仓库方案：最佳的与SAP解决方案开箱即用的集成–本地及云环境；HANA实时数据处理能力；通过 SAP HANA Vora 集成Hadoop；基于HANA的分析业务服务；针对HANA优化的可重用的业务相关内容。

• 无缝集成XX新能源现有SAP ERPsystem数据，和其他业务system数据；以及能够为风场分机等物联网数据提供流数据集成。存储与处理外部环境数据。完整的建模服务，IOT集成与大数据预测分析。

3.2.2 数据仓库产品说明

数据仓库结构中的主要产品包括：SAP HANA内存数据仓库及大数据平台；SAP EIM数据集成与主数据管控（详尽相关内容在3.3数据整合与治理部分介绍）；SAP BO 数据挖掘展现与可视化，SAP PA预测分析（3.4 数据展示部分说明）；大数据与数据湖泊（3.6.2大数据存储部分说明）；物联网流式数据集成（详尽相关内容在3.6.3大数据采集部分说明）；

SAP 高性能分析应用（SAP High-Performance Analytic Appliance，简称HANA）是一套灵活、多用途、而且与数据源无关的基于内存计算的全新应用，通过整合硬件（由 SAP 的硬件合作伙伴: 华为，惠普, IBM, 富士通, 思科,戴尔等来提供）和优化的一套基于内存计算技术的应用。

SAP HANA内存计算平台核心是面向下一代的数据库、数据仓库技术，同时也是可扩展的大数据平台。其架构如图3.5 SAP HANA内存计算平台所示：

                  3.5 SAP HANA内存计算平台

SAP HANA基于全内存计算，采用ShareNothing架构，支持多服务节点并行计算，其认证过的HANA一体机硬件可以支持达到94个节点。支持全面的数据集成，阳明新能源现有考虑范围内的数据源都可以被支持；提供统一的海量数据存储与数据建模；支持任何设备的访问，包括移动化。SAP HANA特点有：

§ 高性能内存计算；

§ 软硬一体机解决方案；

§ MVCC大规模并发访问技术；

§ 行列组合计算技术，列数据压缩技术；

§ 数据并行分区技术；

§ 数据持久化保持与insert优化技术；

§ 基于视图建模；

§ 预测分析库；

§ 数据展现集成；

§ 文本分析技术；

§ 地理信息支持；

§ 数据分层与大数据支持；

§ 数据集成平台化组件，IoT Fundation，SDI，SLT。

以下相关内容是以上特性的介绍。

高性能内存计算：

传统数据库技术基于磁盘计算，通过index和cache技术进行性能优化。但是现代计算机技术特点是CPU大规模并行、内存大规模商用、磁盘是高性能计算的瓶颈。SAP HANA利用现代硬件技术架构，完全自主创新研发了全内存列计算数据库。如图3.6所示：

            图3.6 SAP HANA基于现代计算机硬件架构

这是面向下一个15年设计的核心数据库和数据仓库产品。内存读写性能是磁盘的100万倍，SAP HANA的查询分析能力比传统数据库提升1000倍，几十亿级别记录全表分析查询秒级响应，使得交易型操作OLTP和分析型操作OLAP可以融合，真正实现企业对于实时业务和分析的要求，是企业数字化转型过程中不可或缺的核心平台。图3.7显示了HANA内部架构。

                       图3.7 HANA内部架构

本质上SAP HANA仍然是基于关系型的数据库system（RDBMS）。所有数据库产品知识如ANSI92-SQL，Table，View，Procedure，Index（基本不需要了），Lock，User，Role，Session，Schema等对象都和原有数据库概念一致。并且磁盘仅仅用于数据持久化，使得重启、掉电以后数据永不丢失。XX新能源采用HANA不存在技术门槛。

软硬一体机解决方案：

运行SAP HANA的硬件是都是经过SAP HANA认证的服务器，几乎所有主流的服务器厂家如：华为，Lenovo，Dell，Cisco，HP，日立，富士通等都有经SAP HANA认证的服务器，通常称其为SAP HANA一体机。如图 3.8 HANA 硬件架构所示。可以从以下网址查找所有认证过的HANA一体机，（https://www.sap.com/dmc/exp/2014-09-02-hana-hardware/enEN/appliances.html）。同时SAP HANA还支持经过认证的存储架构服务器，以及Cloud IaaS 环境。SAP HANA服务器支持X86架构的Intel 智强处理器，SuSE Linux、RedHat Linux操作system，IBM Power7 for linux 处理器也已通过认证；支持本地部署、VMWare虚拟化和Cloud部署。

                 图 3.8 HANA 硬件架构

MVCC大规模并发访问技术：

SAP HANA在并发访问和数据一致性保证上采用MVCC（Mutiple Version Consistency Contral多版本一致性控制）。读、写不阻塞读，采用行级锁控制事务，提升大规模并发用户访问能力； SAP HANA采用大规模并行CPU，每个core都可以独立处理单个列，使得大规模并行计算能力极大的提升，完全符合现代硬件的多路CPU和大规模内存计算技术。

行列组合计算技术，列数据压缩技术：

SAP HANA采用行和列两种方式方法组织数据结构，行表主要用于update、delete频繁的OLTP操作，列表主要用于分析型场景OLAP使用。并且SQL支持行、列表的关联查询。XX大数据平台基本上全都采用列式模式计算。列计算采用可以直接访问的数据压缩技术，获得极大的数据压缩率。如图3.9数据压缩所示，SAP HANA 字典压缩原理。

                       图3.9 数据字典压缩

图3.10所示，SAP HANA ERPsystem运行在HANA上和传统数据库相比数据可以达到5倍以上的数据压缩率，并且查询响应时间几十到上百倍提升。降低TCO。

                     图3.10 数据压缩比和查询响应时间

数据并行分区技术：

SAP HANA 实现了并行处理，通过集群分布式架构实现大数据平台的线性扩展，灵活应对企业业务的变化；如图3.11所示：把大数据量和计算量分散到多个处理器和内存进行并行处理。在需要进行性能扩展的时候，通过增加处理节点，就可以轻松实现集群性能的线性增长。企业随着业务的变化，可以灵活调整大数据平台核心的性能，支持海量数据。

               图3.11 HANA并行分区技术

数据持久化保持与insert优化技术；

SAP HANA是纯内存数据库，所有数据存储在内存中，磁盘中存在一份磁盘的镜像，用于数据持久化。未来弥补磁盘写入性能瓶颈，HANA设计了一套insert优化机制，采用SSD固态盘作为日志卷，所有数据先写入日志卷，异步合并到数据卷。如图3.12 HANA读写机制所示：

            图3.12 HANA读写机制

1) 数据总是直接写进内存；

2) 更新内存数据的同时写入日志；

3) 数据定期写入磁盘并创建保存点；

4) 数据恢复时从磁盘和日志区读取记录。

基于视图建模；

SAP HANA直接在内存中基于虚拟视图建模。是先进、成熟的数据仓库建模平台；HANA模型可以直接被BO数据展现调用。如题3.13所示，HANA Studio 可作为建模工具；

• SAP HANA Studio 提供直接在内存中虚拟建模工具；

• 维度视图和计算视图实现的模型无数据冗余；

• HANA Studio还集成了BW建模工具；

• HANA建模是先进、成熟的建模工具。

              图3.13 HANA Studio 建模

SAP HANA视图模型可以理解为CUBE，如图3.14所示。由于是利用内存视图建模，所以在性能上和分析维度上和传统CUBE相比有非常大的提升。属于技术质变层面的进步。

             图3.14 HANA 视图建模

此外，SAP HANA 数据仓库还提供BW/4HANA 建模。如图3.15 BW/4 HANA 建模所示：

        图3.15 BW/4 HANA 建模

• 快速灵活地基于数据仓库的所有层次出具报表

• 跨不同数据层虚拟组合数据

• 业务和服务水平驱动

• 自下而上与自上而上方法相结合——支持敏捷与灵活开发

预测分析库；

SAP HANA自带函数库：包含预测分析函数库（PAL），为大数据预测和分析提供强有力的支撑，如图3.16 HANA PAL库所示：

分发挥SAP HANA计算引擎的预测分析能力：

• 使用原生的建模工具即可进行高级的可视化设计

• 可导入符合PMML的模型并支持直接与 SAP BI 客户端工具进行交互式嵌入调用

• 嵌入第三方应用，为PDMS等应用提供实时预测分析能力

           如图3.16 HANA PAL库所示

同时SAP HANA还提供R语言统计函数库：SAP HANA + R语言，利用网上丰富的大数据分析资源，为企业大数据分析应用提供更多思路。R与HANA的集成

• 可使用R的开放环境，提供多达5000个函数库用于内存计算

• R的函数通过高性能的内存计算来并行处理

• R的脚本可嵌入SQL语句共同完成HANA的数据模型

数据展现集成；

SAP HANA数据仓库平台无缝支持SAP BO所谓数据展示平台。具体说明在数据展示部分介绍。

文本分析技术；

SAP HANA支持非结构化的文字搜索与分析，帮助企业更好的挖掘信息金矿。构建在统一的，灵活的，健壮的数据平台基础之上的固有的文字搜索与分析能力，可针对结构化与非结构化相关内容。

可通过HANA的文字搜索与分析能力，来分析客户投诉，电话中心，维修，机器，事故等。

特性:

• 固有的全文搜索；

• 集成的文字分析能力；

• 实体及语义的抽取；

• 图形化的建模与搜索模型；

• 专用于构建搜索应用的图形化工具箱。

益处:

• 对SAP HANA中的非结构化相关内容进行梳理；

• 在统一的体系内整合OLAP 和OLTP 用例中的业务分析搜索以及文字搜索工作；

• 降低重复性的，延迟性的以及操作性的开销；

• 易于建模——已经构建于SAP HANA 的建模工具之内；

• 通过可复用的图形化构建模块，可以实现搜索型应用的快速开发。

地理信息支持；

SAP HANA空间数据处理为大数据分析和预测提供了新的创新能力；支持实时空间数据处理、空间数据分析优化、空间数据类型及函数，提供地理信息及服务。如图3.17 HANA空间数据支持所示：

              图3.17 HANA空间数据支持

数据分层与大数据支持；

SAP HANA大数据平台支持海量存储与处理，采用数据温区分层设计。结构化分析热数据常驻内存，结构化历史数据定义为温数据存储在磁盘列式数据库，即HANA动态分层技术（HANA DT）；非结构化数据和冷数据存储在Hadoop中，从HANA 通过Vora基于spark框架或Smart Data Access访问。详尽介绍在大数据存储部分。

数据集成平台化组件，IoT Fundation，SDI，SLT

SAP HANA数据仓库平台集成了数据整合工具；包含ETL批量抽取转换加载，SLT从SAPsystem实时加载，从数据源CDC实时捕获事务SQL传输到数据仓库，以及风机风场传感数据物联网事件数据流式集成。ETL、SLT集成在3.3数据整合与治理部分说明；IoT在3.6.3大数据集成部分说明。

完整版领取方式

喜欢文章，您可以关注+评论+转发本文，了解更多内容请私信：方案

129页4万字某智慧能源集团数字化管理平台项目建议书WORD

目录

3.3.1 整体架构

3.3.2 解决方案说明

3.3.3 需求应答

3.2.1 数据仓库架构

3.2.2 数据仓库产品说明

完整版领取方式

猜你喜欢