Ubuntu18 安装Mxnet

mxnet可以安装到linux、OSX和windows下。

windows下配置相对较为复杂，我选择安装在linux下。 具体我的linux版本为64位的ubuntu18LTS。

1.安装步骤

1，安装命令

sudo apt-get update

sudo apt-get install -y build-essential git libatlas-base-dev libopencv-dev

git clone --recursive https://github.com/dmlc/mxnet.git

进入到你下载的那个文件进行：make

上一步如果：

git clone https://github.com/dmlc/mxnet.git

会报错：

扫描二维码关注公众号，回复： 3702421 查看本文章

Makefile:74: /home/abc/mxnet/3rdparty/mshadow/make/mshadow.mk: 没有那个文件或目录
Makefile:75: /home/abc/mxnet/3rdparty/dmlc-core/make/dmlc.mk: 没有那个文件或目录
Makefile:168: "USE_LAPACK disabled because libraries were not found"
Makefile:276: WARNING: Significant performance increases can be achieved by installing and enabling gperftools or jemalloc development packages
Makefile:347: /home/abc/mxnet/3rdparty/ps-lite/make/ps.mk: 没有那个文件或目录
make: *** 没有规则可制作目标“/home/abc/mxnet/3rdparty/ps-lite/make/ps.mk”。 停止。

2，配置路径

export PYTHONPATH="$PYTHONPATH:/home/abc/mxnet/python"

检测：import mxnet as mx

不报错。

2 如何将训练图片转换格式并送入网络

转载于：https://blog.csdn.net/shuzfan/article/details/50037273#1-linux下安装mxnet和python接口配置

就好像在caffe中训练模型之前要现将训练图片转化为leveldb或者LMDB格式数据一样，mxnet在训练之前也要先将图片转化为REC格式的数据。

linux下转换使用的工具是mxnet/bin下名为“im2rec”的可执行文件，该文件的源码可以查看mxnet/tools/im2rec.cc

首先，来说明以下im2rec这个转换工具有哪些输入参数：

首先是必须输入的3个参数，依次是

image_lst:  //保存图片和标签信息的文本的名字

image_root_dir：//图片的存放路径

output_rec：//转换后的.rec格式文件的存放路径

可选的输入参数有：

label_width://标签个数，默认为1，即每个图片只有一个标签

resize: //默认为-1，即不调整图片尺寸。否则将图片的较短边的长度调整为resize大小，另一边按比例调整
    %%例如图片尺寸为300*200，resize=100,那么调整之后图片尺寸为150*100.

quality： //JPEG编码质量，默认为80。输入范围为1-100.（mxnet转换数据时是编码存储的）

center_crop： //默认为0，if(center_crop)，则将图片以中心裁剪为正方形。注意：只有if(resize>0)成立时，该参数才有效。

nsplit：//默认为1，用于将部分图片进行转换，按照位置将image_lst中的图片分成nsplit个part
    %%注意，这里只是大概平分，例如12个训练图片，nsplit=3，实际分块为5+4+3，而不是预想中的4+4+4.（关于这一点我也还没搞明白）

part： //默认为0，用于将部分图片进行转换。和nsplit结合使用，可以只转换nsplit中的第part个分块

这里举一个实际应用的例子 

（1）首先是保存图片和标签信息的文本，这里我的文件是train.txt.

编号 标签 图片名
1 0 FY2D1.bmp
2 1 FY2E1.bmp
3 0 FY2D2.bmp
4 1 FY2E2.bmp

2）为了方便运行和调整参数，这里写了一个类似于windows批处理命令一样的可执行文件，来调用im2rec。

这里我的可执行文件名为convert.sh，训练图片存储于data文件夹，转换后的结果保存到当前文件夹下，命名为train.rec

#!/bin/sh
/home/zfan/mxnet/bin/im2rec train.txt data/ train.rec quality=90 resize=1000

（3）打开终端，cd到convert.sh所在文件夹，输入 ./convert.sh 回车。

迭代器-将转换后的数据送入网络:

总体来说，开始一项训练，需要3个部分：训练参数、网络模型和训练数据。在上一小节，我已经详细介绍了如何将原始图片数据转化为mxnet可以接受的REC格式数据。但是，实际训练的时候我们还需要一个工具来将REC数据送入我们的训练网络中。这个工具就是“迭代器”-iterator

mxnet为我们提供了快速构建迭代器的函数ImageRecordIter，该函数位于python/mxnet/io.py中，其返回一个迭代器对象。或者可以在python命令窗中键入以下命令来获取io函数的位置以及说明：

import mxnet as mx
help(mx.io)
#或者输入help(mx.io.ImageRecordIter)来直接查看迭代器的参数说明

接下来说明ImageRecordIter的几个常用参数：（更多的参数可以通过上面的help查看）

path_imgrec：rec图像数据的存储路径；string型数据；默认为'./data/imgrec.rec'

data_shape：迭代器产生的每一个实例的形状，即图片数据的形状；元组型数据；必选参数

mean_img：图像均值文件的存放路径；string型数据；默认为空

batch_size：batch的大小；int型数据；必选参数

shuffle：是否打乱数据；布尔型数据；默认为False;

mirror：是否对图片执行镜像操作；布尔型数据；默认为False;

rand_mirror：是否随机地对图片执行镜像操作；布尔型数据；默认为False;

rand_crop：是否随机地对图片执行剪切操作；布尔型数据；默认为False;

label_width：图片的标签个数；int型数据；默认为1

mean_r、 mean_g、 mean_b:3个颜色通道的均值；float型数据；默认为0

num_parts：将训练数据分为几份；int型数据；默认为1

part_index:第几部分数据将会被读取；int型数据；默认为0

接下来以实例来说明怎样构建迭代器，该例子位于example/image-classification/train_imagenet.py中

#分别为训练数据和验证数据各构建一个迭代器
def get_iterator(args, kv):
    train = mx.io.ImageRecordIter(
        path_imgrec = args.data_dir + "train.rec",
        mean_img    = args.data_dir + "mean.bin",
        data_shape  = data_shape,
        batch_size  = args.batch_size,
        rand_crop   = True,
        rand_mirror = True,
        num_parts   = kv.num_workers,
        part_index  = kv.rank)
    val = mx.io.ImageRecordIter(
        path_imgrec = args.data_dir + "val.rec",
        mean_img    = args.data_dir + "mean.bin",
        rand_crop   = False,
        rand_mirror = False,
        data_shape  = data_shape,
        batch_size  = args.batch_size,
        num_parts   = kv.num_workers,
        part_index  = kv.rank)
    return (train, val)

3- 构建一个网络模型

一个网络模型是一层一层连接器来的，因此想要构建一个网络模型，首先我们得知道mxnet中都有哪些可以用的层。(以下按照使用频率来排序) 
下面介绍一些比较常用的层，更多的层大家可以在python命令窗执行以下代码来查询

import mxnet as mx
help(mx.symbol)

(1)Activation：激活函数

   data: 输入数据，symbol型变量
   act_type: {'relu', 'sigmoid', 'tanh'}, 可选的3种激活函数

(2)Convolution:卷积层

data:输入数据，symbol型变量
weight：权重矩阵，symbol型变量
bias:偏置，symbol型变量
kernal:卷积核的尺寸（y,x）,二维tuple型变量
stride：卷积步长（y,x）,二维tuple型变量，默认为（1,1）
pad：卷积的填补量（y,x）,二维tuple型变量，默认为（0,0）
num_filter ：卷积滤波器(通道)个数，int型变量
no_bias ：是否取消偏置，布尔型变量，默认为False
num_group：groups划分的个数，int型变量，默认为1.该选项不被CUDNN所支持， you can use SliceChannel to num_group,apply convolution and concat instead to achieve the same need.
workspace：卷积的Tmp工作空间的大小MB。long型变量，默认为512

(4)Dropout：

data:输入数据，symbol型变量p : 训练时对输入数据进行dropped out的比例，float型变量，默认为0.5

(5)Flatten:将N维数据变为1维

data:输入数据，symbol型变量
name : string, optional. Name of the resulting symbol.

(6)FullyConnected：全连接层

data:输入数据，symbol型变量
weight：权重矩阵，symbol型变量
bias:偏置，symbol型变量
no_bias ：是否取消偏置，布尔型变量，默认为False
num_hidden：输出隐藏节点的个数，int型变量

(7)LRN：

data:输入数据，symbol型变量
alpha : float, optional, default=0.0001.value of the alpha variance scaling parameter in the normalization formula
beta : float, optional, default=0.75.value of the beta power parameter in the normalization formula
knorm : float, optional, default=2.value of the k parameter in normalization formula
nsize : int (non-negative), required.normalization window width in elements.

(8)Pooling

data:输入数据，symbol型变量
kernal:pooling核的尺寸（y,x）,二维tuple型变量
stride：pooling步长（y,x）,二维tuple型变量，默认为（1,1）
pad：pooling的填补量（y,x）,二维tuple型变量，默认为（0,0）
pool_type : pooling的类型，可选的3种{'avg', 'max', 'sum'}

(9)SoftmaxOutput：使用logloss进行BP

data:输入数据，symbol型变量
grad_scale : 为梯度乘以一个比例系数，float型变量，默认为1
multi_output : 布尔型变量，默认为False
    # If set to true, for a (n,k,x_1,..,x_n) dimensionalinput tensor, softmax will generate n*x_1*...*x_n output, eachhas k classes

(10)Variable：定义一个symbol型变量

name : 变量的名字，str型变量
attr : dict of string -> string.Additional attributes to set on the variable.

mxnet/example/image-classification文件夹下以symbol开头的几个.py文件都是定义好的网络模型。我们可以任意打开一个来具体了解一下如何构建一个网络。 
有一点需要注意的是：mxnet中通常要在卷积层和全连接层之间价加一个Flatten层用于衔接

4- 开始训练

首先，来总结一下我们现在都有了什么：保存网络模型的.py文件、REC格式的训练数据、将数据送入网络的迭代器。 
在此基础上，我们缺少的就只剩下网络训练的一些控制参数：如学习率、训练日志、GPU选择等等。 
在初期，我们往往可以先快速的拿来用，而不用在意其细节。那么，最简单的办法就是直接修改套用mxnet中的示例。示例主要集中在/example/image-classification和/tests/python当中。下面就简单的介绍如何快速开始训练： 
（1）新建一个文件夹，将/example/image-classification文件夹下find_mxnet.py、symbol_alexnet.py、train_imagenet.py和train_model.py这4个文件copy进来； 
（2）保持find_mxnet.py文件不变，在symbol_alexnet.py中按照里面Alexnet网络的构建方法来建立自己的网络。最后最好再把文件名改为自己的网络名，如mynet.py; 
（3）将train_imagenet.py最好也修改一下名字，如改为train_xx.py.将第40行代码中的’symbol’删除，否则你的网络文件就必须以‘symbol’开始命名，如symbol_mynet.py.

net = importlib.import_module('symbol_' + args.network).get_symbol(args.num_classes)
改为：
net = importlib.import_module(args.network).get_symbol(args.num_classes)

剩下的就是要在parser.add_argument中修改默认值了，否则你在调用mynet.py就必须准确的指定每一个参数。 
（4）写一个脚本文件，运行脚本文件就可以开始训练了。如

python train_xx.py --data-dir=xx --model-prefix==xx --gpus=0
# 如果想要在每次epoch结束时保存一个模型，那么model-prefix就不能为空