2020年博客日报第3篇|基于模型检索初步设计方案

前言

本篇为周报，概括一周的工作情况

但是事情太杂乱，一时间无从梳理，下周应该好些吧，算是有个记录的地方

说下大体主要方向吧：

1.项目部署规范、一键化操作

每个步骤优化都是为了更好的部署，方便管理

一直在整理这部分内容，如果不持续梳理解决部署效率问题，会很影响开发速度

项目增多，也同样存在管理成本问题

梳理了下文档以及目录结构、脚本等文件，这块以后有后端开发人员管理，个人角色转为辅助

2.文件服务器

之前服务器出现问题，用openresty重新构建了一个文件服务器，主要存放部署文件、相关软件以及文档等附件

扫描二维码关注公众号，回复： 8631781 查看本文章

nginx.conf  配置

server {
            listen       8888;
            server_name 192.168.26.XX;
            charset utf-8;
            root   /opt/file;
            location / {
              autoindex on; # 索引
              autoindex_exact_size on; # 显示文件大小
              autoindex_localtime on; # 显示文件时间
    }
}

3.SVN目录调整

重新构建核心库目录，相关项目构建路径在规定位置

4.元数据系统bug修复

利用零碎时间修复了该系统bug

...太细化的东西，不再描述

周一开始模型方面的功能开发，上篇我们答题有了初步思路，这篇我们需要初步设计，避免上班影响其他人进度

关于模型那些事

1.首先需要确定模型创建相关表设计

模型表&模型属性表&维度表&映射表

1.1 模型表：（模型列表）

ID

模型名称

模型描述

模型标签（如人口模型，此模型系统梳理的标签）

...

1.2 模型属性表(用于描述模型表)

ID

关联模型ID

字段名称

字段编码

字段长度范围

数据长度范围

字段类型

数据通配符

...

考虑到复杂度，可见规则设计成宽表，查询的维度预留10个字段

字段名称（企业名称）、字段编码（ENT_NAME）、字段长度范围(0-128)、数据长度范围(5-60)、字段类型(String)、数据通配符(*公司)

2. DB插件元数据&主数据抽取

元数据表

同模型表类似，用于存放抽取过表的基本信息

表名称、编码、描述......标签等

元数据字段属性

同模型属性表，这里存放的信息更加详细，基本包含所有的信息（+标签）

3.ETL工具设计

3.1主数据抽取

（考虑到性能问题，暂且ETL抽取，目前暂定前50条，分析数据使用）

3.2 将元数据字段和表的全部信息初始化后，组成一张大表刷新到ES中

4.模型检索

规则尚需讨论.

End

将模型业务初步整理，明天项目组讨论具体细节