5-2学习记录

1.simpletransformer包apex

它这个包默认的是如果使用GPU的话就是fp16精度，所以需要安装apex包，我还没有尝试过，既然它这么写肯定是考虑到显卡内存大小吧，所以我尝试一下安装apex：

https://github.com/NVIDIA/apex#quick-start，这个给出了步骤

$ git clone https://github.com/NVIDIA/apex
$ cd apex
$ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./

ok没问题，可以安装成功。

但：cannot import name 'amp' from 'apex' (unknown location)

烦死了。https://github.com/NVIDIA/apex/issues/621，这里面遇到的问题和我一样，给出的办法是：https://github.com/NVIDIA/apex/issues/86#issuecomment-455620478

pip uninstall apex
cd apex
rm -rf build (if it exists)
python setup.py install --cuda_ext --cpp_ext 

但是我在最后一句，出现了这个问题：

FileNotFoundError: [Errno 2] No such file or directory: ':/usr/local/cuda/bin/nvcc': ':/usr/local/cuda/bin/nvcc'

对于这个问题我的猜测是，这个文件确实存在，我去文件夹下看了，确实存在，那可能就是权限的问题了，但是我用root用户去操作出现了一些conda的问题，我无法解决，而且我用

chmod +xxx nvcc文件，没有用，我猜测问题是因为nvcc文件所有者是root所以我无法访问？

又尝试chmod 777 nvcc，还是一样的问题，说明不是权限的问题。那可能的问题就是我的软链接，cuda默认会链接到cuda-10.0这个目录下。

搜到了相同的问题，解答https://github.com/NVIDIA/apex/issues/368#issuecomment-507533209，非常ok！ 

就：

export CUDA_HOME=/usr/local/cuda

而且我进入py环境：

就导入进来没问题？？？ 但是version就没有这个属性，而且我pip list 也根本就找不到apex这个包安装过啊。太迷惑了，隐藏安装？？？

安装过程好复杂，好慢卡住了吗。

可了！成功了！

以上均没有问题了。

2.