笔记:ubuntu 环境下将深度学习(BERT-pytorch)模型调到服务器上运行

相关准备

git

服务器(ubuntu )

本地代码(ubuntu 系统)

顺序是先将本地代码 通过git 放在github 或者gitlab ,服务器把代码从github或者gitlab 上抓下来。每次修改完本地代码push 到github或gitlab上 ,服务器再拉(复制)下来。

git配置

第一步:先安装git (用apt 就行 sudo apt-get install git ),找到需要上传文件的目录下, 右击终端运行, 输入:git init初始化本地仓库。创建本地用户名 邮箱

git config --global user.name "你的姓名"
git config --global user.email "你的邮箱"

第二步: 在github 或者gitlab 上注册一个帐号 新建一个项目 ,链接本地仓库。
链接顺序:

  1. 在本地创建SSH key 。ssh-keygen -t rsa -C "你的邮箱"一路回车,使用默认值即可,如有需求也可以自行设置密码。
  2. 查看自己本地的 SSH key 。在目录下运行cat ~/.ssh/id_rsa.pub,会输出一长串 以 你的邮箱结尾。复制。
  3. 添加ssh keys。在 github 或者gitlab 的设置中找到ssh keys,将第二步复制好的key 放入 ssh keys中。
  4. 链接:分两种情况

第一种情况:将本地文件链接到github或者gitlab对应的项目:git remote add origin [email protected]:你的github或者gitlab 用户名/你新建的项目名.git注意( 将你的用户名 和新建的项目名放入其中),再输入git push -u origin master,将你的文件推上去。

第二种情况:复制文件github或者gitlab对应的项目到本地:git clone [email protected]:你的github或者gitlab 用户名/你要复制的项目名.git

之后再推送文件更新文件等 使用 git push origin master

具体git操作不做详细讲解。可以移步这里,查看常用的git 命令。

服务器配置

由于虚拟环境已经安装anaconda 基础版,在基础版上 创建专属自己 的用户环境,

  conda create -n 环境名 python=3.5 

版本可以随意,也可以python=3.6,根据自己的情况而定。
激活环境 conda activate 用户名或者 source activate 用户名
在服务器上装pytorch 配套的cuda 和cudnn ,这里我 没有配置,因为之前已经装过了,所以没有再次安装,不懂的可以自己百度下,记得对应cuda和cudnn 和pytorch 的版本,不然不匹配,跑起来会报错,
安装pytorch 官网
在官网 找到自己对应的pytorch 版本,

查看 cuda 和cudnn 版本 命令
cuda:navidia -smi或者cat /usr/local/cuda/version.txt
cudnn:cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

安装好之后 将github上的代码 复制到服务器。

大文件的复制

在github上 有文件大小的限制,超过100m 会拒绝上传 。大家可以自行搜索解决办法。

我推荐使用scp 命令。
先将小文件使用git命令 复制到服务器上,再通过服务器端输入 scp 命令 将本地大文件复制到服务器上
格式如下:

scp 本机用户名@本地ip:需要上传到服务器的文件的本地路径/文件名.后缀 ./服务器文件夹名

例如你本机叫worker,本地ip上181.1.1.1,本地路径为/home/worker/workspace/,文件为test.txt
需要上传到服务器的connc_test目录下。

则在服务器端输入:scp [email protected]:/home/worker/workspace/test.txt ./connc_test

查看本地ip 命令 :ifconfig

运行

在服务器终端输入 python 文件名.py

原创文章 6 获赞 10 访问量 370

猜你喜欢

转载自blog.csdn.net/qq_23126315/article/details/105708180