数据管理-文件管理规范示例

文件管理规范

为了更快速,更准确,更规范的进行数据文件管理,企业一般都会去制定相应的管理规范。从而使各方面都按照这个规范去进行文件的存储、读取。规范着重于文件命名规则,以及一些校验性文件的描述。
例子:FTP服务进行跨部门文件共享的相关规范。以数据库数据文件导出至ftp文件服务器共享为例,目录下会存在以下3种格式文件。仅供参考。

接口新增数据文件

正常数据:文件类型标示_源系统数据库类型简写.源系统数据库.表名称_数据日期_重传序号.lzo
如正常数据为:
增量(上次导出之后的新数据):
i_s.Peking.orders_20130711_000.lzo
i_s.Peking.orders_20130711_001.lzo
全量(表中所有的数据):
a_s.Peking.orders_20130711_000.lzo

接口控制校验文件

正常数据:增全量标示_源系统数据库类型简写.源系统数据库.表名称_数据日期_重传序号.md5
如正常数据为:
增量:
i_s.Peking.orders_20130711_000.md5
全量:
a_s.Peking.orders_20130711_000.md5
控制校验文件的存在意义在于标识数据的完整性校验,预防上传丢失导致其他使用者获取不完整数据。

接口表结构文件

正常数据:增全量标示_源系统数据库类型简写.源系统数据库.表名称_数据日期_重传序号.xml
如正常数据为:
增量:
i_s.Peking.orders_20130711_000.xml
全量:
a_s.Peking.orders_20130711_000.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<table type="hbase" database="credit" code="cds_courier_active">
<field type="string" code="pin"/>
<field type="string" code="d_seq_no"/>
<field type="string" code="d_cust_id"/>
<field type="string" code="d_mobile"/>
<field type="string" code="d_active_stcd"/>
<field type="string" code="d_active_result"/>
<field type="string" code="d_credit_amt"/>
<field type="string" code="d_active_tm"/>
<field type="string" code="d_seq_no_interface"/>
<field type="string" code="d_apply_channel"/>
<field type="string" code="d_apply_type"/>
<field type="string" code="d_order_id"/>
<field type="string" code="d_name"/>
<field type="string" code="d_approve_times"/>
<field type="string" code="d_product_type"/>
</table>

表结构文件存在意义在于:便于数据的使用人员快速的了解本批次数据的大致内容,也方便后续回头对数据进行检测时作为依照。
在这里插入图片描述

发布了64 篇原创文章 · 获赞 2 · 访问量 2781

猜你喜欢

转载自blog.csdn.net/anniewhite/article/details/105307185