restful api接口封装
1. 背景知识restful 是一种互联网软件架构(以网络为基础的应用软件的架构设计)，其特点：一个URL对应一种资源表现层：客户端和服务器之间，把"资源"具体呈现出来的形式，如文本可以采用txt，json等格式客户端基本操作：GET 获取资源、POST 新建/更新资源、PUT 更新资源、DELETE 删除资源2. 使用说明route()：装饰器，URL对应触发的函数，该段代码运行后，打开http://127.0.0.1:5000即可查看对应的资源from flask import Fla
tensorflow 安装与语法介绍
1. tensorflow安装安装tensorflow：pip3 install tensorflow安装后报错DLL load failed，原因是protobuf的版本不匹配，pip install protobuf==3.6.0后错误消失安装CUDAimport tensorflow时报错Could not load dynamic library 'cudart64_101.dll，原因是CUDA安装失败，CUDA是GPU的并行计算框架。与tensorflow_gpu配套使用，需要
request 上传文件
近期，requests.post上传文件时，status_code返回200，服务器校验时返回400，提示文件为空，但之前的处理逻辑中已进行了文件大小的判断，若文件为空，则直接返回失败，推测是网络问题，实际原因未定。{'msg': '文件不能为空', 'code': 400, 'data': None}file_size = os.path.getsize(csv_dir + file_name)if file_size <= 0: return Falseresponse = r
milvus 向量搜索
1. 简介milvus存储向量化的文本，可以快速查询top-N条相似记录。milvus安装使用中的一些坑，参考：https://zhuanlan.zhihu.com/p/914447532. 常用语法连接milvusmilvus = Milvus(ip, hort)创建、删除表，判断表是否存在当向量数据不断导入时，Milvus 会把数据增量式地合并成文件，当某个文件达到 index_file_size 所设置的值之后，该文件就不再接受新的数据，Milvus 会把新的数据存成另外一个文
xshell 后台运行程序与Supervisor
1. 后台运行退出xshell后，程序仍在后台运行nohup python3 /opt/bin/title_query_enter.py2. 关闭后台程序查看后台是否运行该程序ps -ef |grep title_query_enter.py关闭该进程kill -9 <pid># kill -9 1949
bert 生成文本句向量
之前生成文本句向量的方法是：训练词向量模型w2v，将句子中各词的向量进行平均，现在想尝试一下用bert模型生成句向量。1.bert模型结构all_encoder_layers： 经过transformer_model函数返回每个block的结果，即对应bert的12个Transformer层sequence_output：bert最后一层的输出，不明白其与all_encoder_layers最后一层的输出有何不同？2. 加载bert模型加载bert模型主要使用modeling文件中的相关函数
pytorch 安装与语法
1. 安装pytorch在官网https://pytorch.org/get-started/locally/获取采用pip下载的链接。【报错】检查发现python版本为3.6.0时出现该错误，升级python为3.6.3后torch可以正常导入2. pytorch手写数字识别在网上下载mnist数据集http://deeplearning.net/data/mnist/，该数据集为50000条手写数字图像，图像维度28*28，数字分为0~9共10个分类标签。import pickleimp
pycharm 远程调试linux
由于代码编写时需要在虚拟机、服务器上配置两套各种组件、算法模型的环境，因此直接通过pycharm进行远程调试。1. 配置说明打开pycharm的tools，打开configuration，新建SFTP连接，输入服务器ip，用户名、密码，保存后测试连接是否成功。2. 开始调试打开pycharm的settings工具，添加服务器上的python解释器，注意这里需要点击Move。配置代码的映射路径，此时本地上的代码将自动更新到映射的服务器地址，如果不想自动更新，也可以选择关闭该功能。...
apache atlas 数据治理
1. 安装在安装完ambari平台后，可以在可添加服务中选择atlas安装，其它相关安装事项参见https://blog.csdn.net/g511266804/article/details/106489935/2. UI界面atlas提供了可视化的界面用于查询某一type下的所有实体、血缘关系等，如type为hive_table的实体共有123个，点击查找后，可以选择一个实体查看其定义信息、血缘关系等。血缘关系通常定义于process类别中。3. api调用atlas提供了丰富的api
采用nginx+uwsgi+docker部署django + vue
最近搭一个前后端分离的开发框架，记录下步骤。1. django部署安装django依赖包：pip3 install Django采用命令行创建django项目：django-admin startproject src执行同步数据库文件：python3 manage.py migrate不明白这步是干嘛的？执行时报错sqlite版本过低，因此更新sqlite为3.28.0，参见https://blog.csdn.net/weixin_43336281/article/details/100055
hadoop||spark||yarn运维
1. 简介hadoophadoop实现了一个分布式文件系统HDFS，框架核心设计：HDFS和MapReduce。sparkspark 是专为大规模数据处理而设计的快速通用的计算引擎，支持 Hadoop YARN。使用总结：hadoop提供分布式集群和分布式文件系统，spark使用hadoop的HDFS代替MapReduce进行大数据的计算处理。2. Hadoop安装...
周排行