POI数据发布和保障

POI数据发布:

     数据发布方式有多种,具体方式和需求由业务决定,发布方式主要分为两类,一类是通过数据打包整体发布,一类是通过api请求逐条调用。

     1. 打包整体发布:通过提取归档数据,根据业务需求的模板进行数据提取转换,将数据以文件形式推送到需求端,该方式适用于有独立处理数据并提供业务服务的情况;

     2. 通过api请求:该方式通过服务调用请求数据,以数据id进行数据查询,或者类似地图查询以关键词进行数据匹配。

  第一种方式数据发布量大,如果发布全国的POI数据那么将是超过五千万的数据量,数据发布和加载时间将是一个较长的过程,这决定了打包发布不会是一个实时的数据方案,该方案适用于数据量大,但是实时性不强的情况

  第二种方案,实时性强,但是数据量因为服务请求的原因,受限于服务qps限制数据量无法达到较大的量级,即便qps达到满足较短时间内同步全量数据,也难以保证数据的全量更新,这种方式提供实时的数据查询,无需进行数据全量的保证,只需保证服务请求数据准确性和实时性。

  两种发布方案虽然方式不同,但是同为发布需要满足发布的基本需求:1. 正确性   2. 实时性   

  1. 正确性,包含两个因素,单条数据的准确性,数据整体的正确性

    单条数据的准确性可以通过字段校验来提供保证,字段校验是针对字段类型和值范围的校验,对每条数据进行字段校验可以保证一定的数据正确性

    数据整体正确性,可以通过数据差分来进行保证,对上一次发布的数据进行数据比对:数据上线和下线数据量的比较,在线数据更新字段变更值的比较,通过字段变化率的比较可以确定新的数据和历史数据变化情况可以确定数据没有因为策略异常或者服务异常造成的数据错误。当数据差异率超过阈值的时候需要进行人工介入,确定数据变更是否符合策略预期。

  2. 实时性,打包发布只要保证数据发布成功可以保证实时性,api请求需要保证数据同步正常服务稳定

猜你喜欢

转载自www.cnblogs.com/dlgh/p/12081428.html
今日推荐