最近一直在尝试将FCN网络运用到指纹图像分割上，并将其与公司原有的指纹采集工具融合，改进原有工具在对非按压、带水区域的标记分割。学习一段时间了，有一些小小的心得，在此记录一下。
FCN网络的Demo是使用GitHub上shekkizh提供的工程，具体可以参见我原先写的一篇博客ubuntu 18.04下搭建FCN Demo测试环境(Tensorflow)。
原有的FCN Demo使用的是MIT_SceneParsing数据集，所以要将其替换为指纹数据图像。对于待分割指纹图像，考虑三种情况：按压不全的指纹图像、防水的指纹图像和正常的指纹图像。三种指纹实际图像如下图所示：
在收集到足够多的原始指纹数据后，制作对应的标签图，上面三种指纹图像的标签图如下图所示：
可以看出，在指纹图像分割运用中，实际只有两种分类：将指纹清晰区域标记为一类，将指纹不可辨别区域标记为另一类。在制作标签的时候，我将指纹清晰区域标记为像素值46，指纹不可辨别区域标记为像素值16。
我实际收集到的数据大概有5W张数据图像(JPG),其中80%是正常的指纹图像，按压不全的指纹图像和防水的指纹图像各占10%。本任务是对按压不全的指纹图像和防水的指纹图像进行无效区域分割，因此对正常的指纹图像进行大量的删减，按压不全的指纹图像和防水的指纹图像则采用了flip、mirror、flip&mirror和resize&rect（缩放后截取部分区域）方法进行了扩充，最终数据的比例是按压不全的指纹图像和防水的指纹图像各占40%，正常的指纹图像占20%。获得源数据后将其随机分为三部分：train、validation和test，其中train图像2.2W张，validation图像2K张，testvalidation图像3K张。训练数据制作好以后放置到Data_zoo\MIT_SceneParsing文件夹下，并压缩生成一个zip压缩包，在mode参数中设置为train即可开始训练。（吐槽一下，为了制作对应的图像的标签图，手都快成鼠标手了）
当模型训练完成以后，便需要考虑对模型进行固化和量化。因为训练保存的是CKPT文件，需要转换为pb文件进行参数固化。但是模型固化的研究了一个礼拜，生成的PB文件load以后预测输出都不正确，只能先放一下。
原有的指纹采集工具是基于C++来写的，要把模型使用起来的话，需要将Python工程进行打包，打包使用pyinstaller，pyinstaller安装完成以后通过Anaconda Prompt进入到FCN.py文件目录，使用“pyinstaller -F --clean FCN.py”命令便会在FCN.py同目录下的dist文件夹下生成FCN.exe可执行程序，将其拷贝至FCN.py同目录下，双击运行检测exe是否打包成功。在打包exe程序时碰见出现说无法找到Qt相关dll的错误，使用pip命令安装Qt即可解决。之后将FCN.exe拷贝至无Python的环境中，运行会出现“运行程序无法定位程序输入点ucrtbase.abort于动态链接库api-ms-win-crt-runtime-|1-1-0.dll”的bug，解决此问题，安装vs2015运行库即可解决。由此Python程序打包步骤完成。
在主程序中使用ShellExecuteEx函数来调用FCN.exe，需要注意的是，ShExecInfo.lpDirectory参数需要指定路径，不然调用运行会出错。以下是我调用exe可执行程序的函数：
void OpenExe()
{
ShExecInfo.cbSize = sizeof(SHELLEXECUTEINFO);
ShExecInfo.fMask = SEE_MASK_NOCLOSEPROCESS;
ShExecInfo.hwnd = NULL;
ShExecInfo.lpVerb = NULL;
ShExecInfo.lpFile = _T("C:\\Users\\tuq\\FCN_while\\FCN.exe");
ShExecInfo.lpParameters = NULL;
ShExecInfo.lpDirectory = _T("C:\\Users\\tuq\\FCN_while\\");
ShExecInfo.nShow = SW_SHOW;
ShExecInfo.hInstApp = NULL;
ShellExecuteEx(&ShExecInfo);
}指纹采集工具嵌入FCN需要考虑C++与FCN.exe的通信问题，在这里我使用两个txt文件来进行通信交互。通信命令如下：
cmd.txt :
cmd_ini --- 初始状态
cmd_infer --- FCN程序开始预测分割
cmd_exit --- FCN程序退出
infer_flag.txt :
infer_ini --- 初始状态
infer_ready --- FCN程序已装载好模型，可以开始分割
infer_doing --- FCN程序正在进行分割
infer_finish --- FCN程序完成分割预测生成FCN.exe的Python文件是基于原作者FCN.py文件进行修改得到的。主要删除了一些train代码，并修改了main函数。main函数实现了CKPT模型的load，并告知C++程序load步骤完成，可以准备进行预测了。当接收到主程序cmd_infer命令时开始预测分割，预测分割结束后标志infer_finish表示完成了预测分割。main函数实现了一次load模型，多次run的功能。实际测试load的时间为6秒左右，run一张图的时间为0.6秒左右。这样便大大节省了于测的时间。
因为FCN是逐像素点预测的，因此得到的输出图像会存在孤立的背景点和边缘毛刺，因此还需要进行中值滤波和open操作，以消除孤立背景点和边缘毛刺。输出图像和滤波后的图像如下图所示：
最后，将输出图像与源图像进行mask即可得到分割后的图像。