作者丨happy
编辑丨极市平台
本文原创首发于极市平台，转载请获得授权并标明出处。
原文链接：https://arXiv.org/abs/2109.10852
语言模型与目标检测这种八竿子打不着的领域之间会存在关联性吗 ？Hinton团队的最新工作Pix2Seq对此进行了探索，它将目标检测问题转换成了语言模型问题，并在COCO数据集上取得了与DETR相当甚至更优性能 。好大的脑洞！
Abstract
本文提出了一种简单而通用框架Pix2Seq用于目标检测，不同于已有显式集成先验知识的方案，我们将目标检测任务转换成了基于观测像素输入的语言模型任务 。关于目标的描述(比如边框、类别)将被描述为离散token序列，我们训练了一个神经网络去感知图像并生成期望的序列。
该方法主要基于这样的直觉：如果神经网络知道目标在哪、目标是什么，那么我们仅需要教它如何进行解析 。除了实用任务相关数据增广外，该方法对任务做了最小假设，相比高度优化的检测方案，所提方法在COCO数据集上取得了极具竞争力的结果。
