版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/bea_tree/article/details/83759606
文章主要实现了以下任务：
给定一个概念和一张图片，模型在图像上生产对应区域的mask。
文章主要实现思路：
- 建立图像特征与word vector之间的映射关系，从而得到attention map
具体方式是：
- 利用PMI生产word vector
- 基础网络（如resnet50）提取图像特征之后进过GAP，然后经过三层 embeding 网络，使embeding结果与word vector距离尽量接近
- 去掉GAP，得到feature map，feature map与word vector求内积，表征对该word的响应图（attention map）
- 一幅图对应多个图像时，求多个word vector的加权平均，权重利用idf求得
- attention map不够精细，所以利用带有bbox的数据进行refine
- 将图像与之前得到的attention map作为输入，训练一个二分类mask 分割模型