版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zxh19800626/article/details/84669805
数据开发流程
数据开发的总体流程包括原数据、数据采集、数据存储、数据分析与处理、数据同步和数据可视化，如下图所示：
-
数据源
业务系统每天会产生大量结构化的数据，这些数据都存储在业务系统所对应的数据库中，包括MySQL、Oracle等类型；
-
数据采集(数据集成的数据采集) 和数据存储
对数据进行数据分析计算之前，先对业务数据进行采集和存储；
-
数据开发
数据开发主要是数据离线计算，对数据进行加工处理、分析与挖掘分析与挖掘（数据分析、数据挖掘）等处理。我们通过任务调度对各数据计算任务转化为工作流进行调度执行；
-
数据同步
分析与处理后的结果数据，需同步导出至业务系统，以供业务人员使用其分析的价值；
-
数据管理
数据管理（Data Management）支持MySQL、SQL Server、PostgreSQL、MongoDB、Redis等关系型数据库和NoSQL的数据库管理。它是一种集数据管理、结构管理、用户授权、安全审计、数据趋势、数据追踪、BI图表、性能与优化和服务器管理于一体的数据管理服务。用户使用数据管理服务实现易用的数据库和服务器统一管理入口，让数据更安全、管理更高效、数据价值更清晰。
-
数据服务
数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。数据服务提供了快速将数据表生成数据API的能力，同时支持用户将现有的API快速注册到数据服务平台以统一管理和发布。
-
数据运维
Pandora数据工厂的运维平台，提供任务监控、集群监控、Kafka监控等运维手段，保证系统的正常运行和异常报警；
-
可视化
通过antv、echart等可视化技术手段，通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。
原创诗词一首
蜀相
花近楼高伤客心，近来多病难登临。
锦江两岸自春色，丞相祠前变古今。
三分割据囊宇策，七出祁山事未勤。
报君不为封侯事，日夜聊闻梁父吟。