目的
使用multi-patches目前看来,有两种目的,一是想保持原来的分辨率,并使用多patch代表原图;二是想使用patch来处理fine-grained细粒度特征。
多patch组合
虽然也是裁剪出原图的内容,和物体检测网络不同,多patch更强调彼此之间的联系,所以要将patch组合再一起。组合的方式也就随之而来。
1. 最简单的,使用简单组合的方式concatenate
2. 复杂一点的,如果存在全局和局部的特征,可以使用门结构的方式,使用全局筛选局部特征。
3. 还有目的性较强的,比如查看图片的质量或者清晰的这种信息时,综合使用各种统计的方法得到筛选的特征,然后将它们concatenate一起。还有将矢量组合排序,再组合在一起。
4. 还有,对patch分组,查看分组对最后特征表现的重要性,来赋予不同的权重。
可见,patch的组合的方式,需要根据语义信息context和区块的信息content的关系,来确定,目前没有很cool很普遍的做法。但一点是肯定的,如果最终结果需要根植于各个patch时,需要将patch组合在一起。