一起养成写作习惯！这是我参与「掘金日新计划 · 6 月更文挑战」的第18天，点击查看活动详情。
欢迎关注我的公众号 [极智视界]，获取我的更多笔记分享
大家好，我是极智视界，本文介绍一下 图像处理中对掩膜 mask 和 ROI 的理解。
掩膜的概念之前在传统图像处理中用的比较多，而进来深度学习中比较火热的如：(1) 自监督中用 mask 做一些 类似 "完形填空" 的数据增强；(2) swin transformer 等新模型中对于 mask 的一些应用等。以上可以看出 mask 在深度学习领域也能发展重要作用。为了更好的表达，这里我们用传统图像处理的方式来介绍 mask 和 ROI，和深度学习中使用的 mask 原理上是一样的。
1. 对 ROI 的理解
对 ROI 的理解较简单，ROI 即感兴趣区域，即要操作的区域。
2. 对掩模的理解
- 掩模是 8 位单通道图像 (灰度图 / 二值图)；
- 掩模某个位置如果为 0，则在此位置上的操作不起作用；
- 掩模某个位置如果不为 0，则在此位置上的操作会起作用，即 ROI 区域；
- 可以用来提取不规则 ROI；
示意：
source mask dst
125 100 85 0 0 0 0 0 0
66 25 35 0 255 0 0 25 0
120 125 100 0 0 0 0 0 0
3. 为什么要用图像掩模
对于规则的 ROI，比如最常用的正矩形（Rect）来说可以很容易获取到感兴趣区域的图像数据，如下：
for(int y = rect.tl().y; y < rect.br().y; ++y)
{
uchar* imgRow = img.data + y * img.step;
for(int x = rect.tl().x; x < rect.br().x; ++x)
{
imgRow[x]...
}
}
但是对于不规则的 ROI，则很难直接提取到感兴趣区域内的图像数据，这个时候掩模的作用就体现出来了。假设掩模图像尺寸和源图像的大小一致，则：
cv::Mat dst = cv::Mat::zeros(Size(img.cols, img.rows), CV_8UC1);
for(int y = 0; y < img.rows; ++y)
{
uchar* imgRow = img.data + y * img.step;
uchar* maskRow = mask.data + y * img.step;
uchar* dstRow = dst.data +y * img.step;
for(int x = 0; x < img.cols; ++x)
{
if(maskRow[x] > 0)
{
dstRow[x] = imgRow[x]...
}
}
}
4. 使用掩膜进行图像融合
使用掩模实现图像融合示例：
以上将右侧 opencv 的 Logo 融合到左侧 车辆图像中，可以发现一个特点是：opencv Logo 是不规则的，这个时候用一个和 右侧原图一样大小的 mask 来做掩膜是很合适的。图像融合后的效果如下：
好了，以上分享了 图像处理中对掩膜 mask 和 ROI 的理解，希望我的分享能对你的学习有一点帮助。
【公众号传送】