Ubuntu 14.04+cuda7.5+torch+tensorflow+remastersys

Ubuntu 14.04+cuda7.5+torch+tensorflow+remastersys

本人由于手残，安装过很多次这系列的东西，感谢之前参考过的所有文档的作者，为了后面安装的新人更快完成，遂决定写这篇文档。

• Ubuntu14.04安装及引导
• cuda7.5安装
• Cudnn安装
• caffe安装
• Tensorflow安装
• Theano安装
• Troch安装
• remastersys安装及备份

---

Ubuntu 14.04 安装

已有win7系统的电脑，可分配100+GB的ssd给linux。

1. 为Ubuntu安装准备可用空间
   方法一：
   windows中，右击“计算机”，点击“管理”，打开窗口左侧列表中有“磁盘管理”，即可删除一些空间，使其变为绿色，则在安装中可用。
   方法二：
   使用DiskGenius工具。
   （如果灰色部分无法包括进来，就重新新建磁盘，然后调整磁盘大小，再删除磁盘）

2. 安装ubuntu
   检测网络那一步，如果需要网路，可以在右上角进行手动设置。

   下一步会检测有没有其他系统，我这边检测不到我的win7，可以先跳过，随后设置grub或win的引导。

   分区
   根分区： \ 100G （主分区，其他都是逻辑分区）
   Swap交换分区： 32G （随便设置的，有一份参考中设置了和内存相同的16G，并表明内存小于16G时，设置为内存的1.5-2倍）
   Home分区：600G （建议设置大一些，但是我就这么点空间了）
   boot分区： /boot 400M
   很多教程里都给出很多分区，我一般只设置这几个，其他的会自动从根分区分出

   重建引导
   我用的是win的引导，grub不太会
   插入winPE盘，修复win引导
   重启进入win系统，打开EasyBCD建立引导
   

   进入tty时黑屏
   这个应该时分辨率问题，我的解决方法如下（具体原理不懂，但是出现了神奇的情况，grub引导出现了，里面包括win7启动项）：

sudo gedit /etc/default/grub

在quite splash后面加上nomodeset

sudo update-grub
sudo reboot

---

cuda7.5安装

（以前都是先安装Nvidia的驱动，再安装cuda 的。但安装cuda的时候会提醒驱动冲突，本次尝试直接安装）
选择cuda7.5 （.run文件安装出错率比较高，选择.deb安装）

1. 官网下载cuda的.deb文件

2. 关闭和Nvidia内核不兼容的nouveau

Nouveau是一个开源的显卡驱动，Ubuntu 14.04 默认安装了，但是它会影响nVidia驱动的安装，所以只有请他回老家了，sorry！

Ctrl+Alt+F1进入命令行模式

sudo stop lightdm
sudo vi /etc/modprobe.d/blacklist-nouveau.conf

在文件中写入：

blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off

在terminal中执行

echo options nouveau modeset=0 | sudo tee -a /etc/modprobe.d/nouveau-kms.conf
sudo update-initramfs -u
sudo reboot

检查nouveau是否关闭成功的方法：

lsmod | grep nouveau

如果显示为空，那么就是卸载成功了。

方法二

sudo vi /etc/modprobe.d/nvidia-graphics-drivers.conf

写入

blacklist nouveau

退出并保存（:wq!）
检查写入是否成功（其实就是在终端打开文件看看有没有那一行）：

cat nvidia-graphics-drivers.conf

sudo vi /etc/default/grub

末尾写入

rdblacklist=nouveau nouveau.modeset=0

同上，保存并退出，检查。
关于vi i开启写命令 删除字符用x 强制保存并退出 :wq! o：在当前行之下新开一行

3.安装
防止冲突步骤，新系统可以忽略

sudo apt-get --purgeremove nvidia*

安装build-essential

sudo apt-get update
sudo apt-get install build-essential

安装cuda（.deb）
官网下载即可。

sudo dpkg –i 文件名.deb
sudo apt-get update
sudo apt-get install cuda

写入路径

sudo gedit ~/.bashrc

写入

export PATH=$PATH:/usr/local/cuda/bin
export LD_LIBRARY_PATH=:/usr/local/cuda/lib64

检查方法

echo $PATH

LD_LIBRARY_PATH同上，看输出里面有没有这两项
4. 验证安装成功与否

cd /usr/local/cuda/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery

可能遇到的问题
1.

/usr/bin/ld:cannot find -lnvcuvid

解决方法：
加入PATH（不一定时340，看你自己的安装)

LD_LIBRARY_PATH=/usr/lib/nvidia-340:$LD_LIBRYARY_PATH

2.
无法获得锁 /var/lib/dpkg/lock - open (11 Resource temporarily unavailable)
E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?

解决方法：
先看到底有没开两个apt 包括新立得
如果确定没开两个APT-GET
可以强行解锁

sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock

1. 检验驱动版本（其实用来检查驱动安装成功与否）

cat /proc/driver/nvidia/version
nvcc -V

如果提示nvcc未安装，其实是nvidia-cuda-toolkit的编译器没有安装完整，则按照提示操作：

sudo apt-get install nvidia-cuda-toolkit

方法二（安装.run文件）
切换到cuda的.run 所在的目录，然后执行安装命令：

sudo cd cuda_install
sudo sh 文件名.run

安装前一定要执行 md5sum ，至于如果发现md5检测不一致，去nVidia重新下载^_^!
这里会一路问你各种问题，基本上就是Accept-yes-Enter-yes-Enter-yes-Enter， 其实就是让你接受协议，然后安装的默认位置确认等等，recruit就别自定义安装位置了，默认才是天堂。
这里一般会遇到的问题：
1.提醒你需要reboot（重启）才能安装，那就用命令行重启，然后在执行一次安装命令：

sudo reboot
sudo cd cuda_install
sudo sh 文件名.run

2.环境配置

export PATH=/usr/local/cuda-6.5/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-6.5/lib64:$LD_LIBRARY_PATH

检查：

echo $PATH
echo $LD_LIBRARY_PATH

3.check
检查显卡是否安装成功：

sudo apt-get install mesa-utils
glxinfo | grep -i nvidia

如果出现安装失败，重启系统，重新安装一遍基本都可以解决，实在不行就卸载原来的驱动再安装一遍。
a. 卸载现有驱动
sudo nvidia-installer –uninstall
b. 下载合适版本的驱动，并安装（官网）：
sudo sh ./NVIDIA-Linux-x86_64-340.24.run
c. 重装CUDA Tool
sudo sh 文件名.run

---

Cudnn安装

这部分比较简单，首先要注册Nvidia的开发账号，然后才能下载cudnn。
下载下来后：

tar -zxf cudnn-7.0-linux-x64-v3.0-prod.tgz
cd cuda
sudo cp lib64/* /usr/local/cuda/lib64/
sudo cp include/cudnn.h /usr/local/cuda/include/

---

caffe安装

以前安装caffe，我都想骂娘啊，那个架构，那个难装，参考这次的教程装的简直轻而易举，甚至有点不相信自己！！！
1. 更新一下

sudo apt-get update && sudo apt-get upgrade
sudo apt-get install linux-source
sudo apt-get install linux-headers-`uname -r`

其中linux-source在前面参考教程中有安装，因此也一并安装。
2. 安装底层包

sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev protobuf-compiler gfortran libjpeg62 libfreeimage-dev libatlas-base-dev git python-dev python-pip libgoogle-glog-dev libbz2-dev libxml2-dev libxslt-dev libffi-dev libssl-dev libgflags-dev liblmdb-dev python-yaml python-numpy

sudo easy_install pillow
sudo apt-get install pypy-dev

3.安装caffe

cd ~
git clone https://github.com/BVLC/caffe.git

cd caffe
cat python/requirements.txt | xargs -L 1 sudo pip install

cp Makefile.config.example Makefile.config
vi Makefile.config
# 去掉USE_CUDNN:=1注释
# 去掉WITH_PYTHON_LAYERS注释

make pycaffe -jX
make all -jX
make test -jX

export PYTHONPATH=/home/username/caffe/python

---

Tensorflow安装

sudo apt-get install python-pip python-dev
# Ubuntu/Linux 64-bit, GPU enabled:
sudo pip install --upgrade https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow-0.7.1-cp27-none-linux_x86_64.whl

---

Theano安装

pip install Theano

检验：

python
>>> import theano
>>> exit()

---

Torch安装

Torch的安装相当简便，依次输入如下命令，即可完成安装，假设安装目录为：～/torch请更改为自己的目录。

# 1.Install curl
sudo apt-get install curl
# 2.Install the basic package dependencies that LuaJIT and Torch require.
curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps | bash
# 3.Clone Torch to ~/torch, this will installs LuaJIT, LuaRocks, and then uses LuaRocks (the lua package manager) to install core packages like torch, nn and paths, as well as a few other packages.
git clone https://github.com/torch/distro.git ~/torch --recursive
# 4.Install Torch
cd ~/torch; ./install.sh
# 5.Refresh your env variables
source ~/.bashrc

这个我安装的时候，好几次下载有问题，或者安装有问题。
我建议，下载万一出错，就重新下载，或者换源试试；
安装之前备份一个出来，万一安装出错，直接删了重来吧！这个很奇怪，也不是每次都出错，也不是每次的错误都一样。。。。
出现的错误
readline/readline.h:没有那个文件或目录
sudo apt-get install libreadline6 libreadline6-dev
对于依赖库ipython，torch默认安装2.3.0。
检查ipython版本的方法：
ipython --version

其它包
Torch是一个工具包相当丰富的工具，安装Torch时会安装一部分扩展包，在”/torch/extra/”下可以看到，如果想安装其它工具包，可以通过Luarocks在终端以命令行形式安装新的包：

luarocks install image
luarocks list

---

remastersys安装和使用

PPA：https://launchpad.net/~mutse-young/+archive/ubuntu/remastersys?field.series_filter=trusty
ppa:mutes-young/remastersys

安装：

sudo add-apt-repository ppa:mutes-young/remastersys
sudo apt-get update
sudo apt-get install remastersys

ctrl+alt+T打开终端，打开软件：
sudo remastersys
生成：
sudo remastersys dist
然后要耐心等待，这里千万不要乱操作；
大功告成后，在/home/remastersys中就可以找到你要制作的光盘镜像了~

remastersys命令详解：
remastersys的语法: sudo remastersys backup|clean|dist [cdfs|iso] [filename.iso]
1)将你的系统备份制成一个live cd/dvd sudo remastersys backup
2) 将你的系统备份制成一个live cd/dvd其名叫 custom.iso 的ISO文件.
sudo remastersys backup custom.iso
3)清除由 remastersys产生的临时文件 sudo remastersys clean
4) 产生一个可发布又包括你的个人资料的 livecd/dvd
sudo remastersys dist
5) 产生一个只有档案系统的可发布的 livecd/dvd
sudo remastersys dist cdfs
6) 为了产生一个可发布又包括你的个人资料的 livecd/dvd 其名叫 custom.iso的ISO文件:
sudo remastersys dist iso custom.iso

---