CVPR 2022 | 天大本科生论文入选!深度学习长尾分类新SOTA

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

丰色 发自 凹非寺
转载自:量子位(QbitAI)

本科生搞科研到底能做出什么成绩?

最新被CVPR 2022收录的一篇论文中,提供了一种新思路来解决深度学习中长尾分布数据的分类问题,最终实现了新SOTA。

9ed2df891593ba1874af92d56f53b4eb.png

论文:https://arxiv.org/abs/2111.09030

文章一共5位作者,有博士生,也有来自新加坡A*STAR的高级研究员……

而排在一作位置的,是一位来自天津大学的科生——李同学

厉害的是,这还不是这位“初生牛犊”的第一篇顶会论文,在此之前,他还中了一篇数据挖掘领域的顶会(WWW 2022),同样是一作。

74bfc14ed10ba0260e5266dcd117b67d.png

本科生搞科研,势头已经这么强了吗?

大三进实验室,大四就有2篇顶会在手

李同学来自天津大学智能与计算学部,今年大四

这篇CVPR文章,主要就是以新型集成(ensembling)学习策略来解决长尾分类的问题。

90d8c390c63d1b91a68bde4133959318.png

长尾分布大家都知道,对于这些数据的分类则是深度学习中十分常见的一个应用。

它的难点主要是样本量极端不平衡尤其尾部样本量过少,难以获得有效的训练结果。

目前,基于集成学习的方法显示出巨大潜力,实现了SOTA性能。

但这种方法有两个局限性:

一是在failure-sensitive应用中的预测通常不可信,这对极容易出错的尾部数据的影响非常大;

二是它会为所有样本分配统一数量的资源(experts),这对于简单样本来说,造成了多余、过高的计算成本。

因此,李同学等人提出,通过引入不确定性集成,来实现对尾部类别样本的自动感知。

在此基础上,提出为尾部类别样本动态分配比头部样本更多的模型资源(experts),以兼顾性能与效率。

3945e8af6282ea1ca7ef63b596603d0e.png

 测试阶段使用哈佛提出的DS理论形成joint uncertainty

最终,所得模型实现了对尾部类别样本的自动化检测与训练调节,成为一个解决长尾分类问题的通用模型。

一系列分类、尾部检测、离群点检测和故障预测等任务的综合实验证明,该模型的性能成功打败现有的SOTA方法

c493f0344254f444901266e67be7c522.png

今年6月,李同学即将本科毕业,然后将直接以博士生的身份进入普渡大学学习,师从张教授。

张教授刚刚从康奈尔大学统计学博士毕业,在普渡大学担任助理教授,她的研究方向为机器学习和数据科学中概率模型的构建。

66b78da9c29d0fdab8ccc8fa09db314b.png

他是在大三的时候,凭着优秀的学习成绩进入了学部的机器学习与数据挖掘实验室

b9bfa97d7f08ec8e532805a0bb191bed.png

在导师张长青(天津大学博导)的带领下,李同学经过短短一年半的学习,就中标了两篇顶会论文

可以说后生可畏。

越来越多的本科生开始发顶会

不过要说起本科生搞科研,其实大家应该有所注意,很多学校对于这件事越来越开放和重视:

在大三或者更低年级时,就会开放一些名额让有潜力的学生进入实验室,和研究生、博士生一起搞科研。

比如清华“星火班”就招募大二学生,北大也鼓励学生从大二就开始开展科研项目,而像中科大等学校,对做出相应成绩的本科生还会给予专门的奖学金

在这样的情况下,已经有不少像李同学这样的学生,在本科期间就发表上顶会了,可谓光环满身。

比如我们熟悉的清华特奖得主、2016级本科生高天宇,大学四年期间就有四篇顶会在手:两篇AAAI、两篇EMNLP,还开过一个直播,专门传授起自己的科研经验。

6589f9905802603173d35aa86d7f7856.png

比如MIT本科生毛啸,大四中标计算机理论顶会FOCS 2021,并摘得最佳学生论文奖。

再比如清华电子系本科生刘泓,3篇一作顶会;北大本科生吴克文不仅发顶会(ACM计算理论年会STOC),还拿下最佳论文奖;以及电子科大本科生王谭也有1篇一作CVPR 2020、浙大本科生任意同样1篇一作ICML 2019……

类似的例子非常多。

可以说,本科生搞科研是越来越厉害了,大家觉得呢?

28f9ce0fb43c4382f8c360fb588b6c07.png

参考链接:
http://cic.tju.edu.cn/info/1040/3704.htm

ICCV和CVPR 2021论文和代码下载

后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集

后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集

后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
CVer-Transformer交流群成立
扫描下方二维码,或者添加微信:CVer6666,即可添加CVer小助手微信,便可申请加入CVer-Transformer 微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注:研究方向+地点+学校/公司+昵称(如Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信: CVer6666,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!

▲扫码进群
▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看

猜你喜欢

转载自blog.csdn.net/amusi1994/article/details/123749220