【多模态】资料小抄

================My blog=====================

【跨模态】神经搜索实践：Jina VCED： http://t.csdn.cn/EqFww

================资料=====================

1. CLIP模型的使用和训练-利用CLIP实现zero-shot的分类任务  http://t.csdn.cn/lbRlg 

2. CLIP 论文逐段精读【论文精读】  https://www.bilibili.com/video/BV1SL4y1s7LQ/?spm_id_from=333.999.0.0&vd_source=fab4cd66aafcb3b54c4bc627c1dcaac1

3. 基于矩阵或注意力《Efficlent Low*rank Multimodal Fusion with Modality-Specific Factors》

4. 双塔《Pretralning Task.Agnostic Vislolinguistic Representations for Vislonand·Language Tasks》

5. 单流《A Universal Encoder for Vislon and Language by Cross-modal Pre-training》

6. 基于对比学习的预训练模型《CommerceMM: Large-Scale Commerce MultiModsl Representatlon Learning with Omni Retrleval》

扫描二维码关注公众号，回复： 14955164 查看本文章

7. 多模态预训练《BEIT: BERT Pre-Training of lmage Transformers》

8. 基于predict masked patch的预训练模型《Masked Autoencoders Aro Scalable Vislon Leaners》