An End-to-End Approach to Natural Language Object Retrieval
via Context-Aware Deep Reinforcement Learning
这篇文章的核心就是使用使用强化学习的观点，在图像西红找出最合适的物体边框。强化学习的核心是在不同的状态下执行不同的动作，那么应该如何建模。作者将将图像看做state，然后初始化了8和action，这8个action分为两组，第一组执行上下左右四个动作改变候选框的位置，第二组动作就是想改变候选框的大小。其实这个方法在object detection里面也有应用，如下所示。
第二组动作改变图像的大小的具体方法：加入当前状态下的左上角和右下角的坐标是(x1,y1),(x2,y2),假若向下移动，则变为(x1+0.2,x2+0.2)(x2+0.2,y2+0.2),哈哈，就是改变一下位置嘛。
至于网络框架，首先使用ResNet提图像的特征，注意并没有resize到固定的维度，其实在有Ground truth的图像中，不用resize，因为也以使用ROI pooling加上Ground Truth的信息，可以提取出local和global的信息。网络最终输出动作值函数和值函数。另外考虑到动作之间的依赖性，将前50个回合中的动作也被考虑在内。