UIE微调(二):autoDL平台实践

官网:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie

1、配置环境

(1)显存要求:大于32GB

实例型号:A100-40GB,3块多/小时(比autoML划算……)

(2)系统镜像

选择paddlepaddle 2.4,等下就不用装这个啦。因为如果是装的pytorch,在paddle官网上会找不到对应的cuda版本,需要自己重新安装对应版本的cuda、cudnn……

(3)pip镜像源

默认是阿里源,但是在装paddlenlp的时候老是找不到最新版本的依赖,可以将其改为默认的国外镜像:https://pypi.org/simple

pip install paddlenlp --use-deprecated=legacy-resolver -i https://pypi.org/simple

使用–use-deprecated=legacy-resolver,防止安装过慢(好像这个是旧的解析器)

如果出现依赖包的版本冲突的话,就多试一下别的版本咯

2、官网链接上的doccano.py不能抽取关系,参考另一篇

Paddlenlp之UIE关系抽取模型【高管关系抽取为例】
下载该项目中的两个文件,utils_1、precess.py,目录结构如下:
在这里插入图片描述

3、中文预料or英文语料

如果是中文直接用上面文件即可,如果是英文的话,需要修改utils_1.py文件中的以下两处:

直接搜索:“的”

在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_38432089/article/details/129170214