医疗多模态大模型

记录各个医疗领域中的各个多模态大模型;

1. OpenMEDLab浦医

https://github.com/OpenMEDLab

“OpenMEDLab浦医”将于近期逐步开源,覆盖医学图像、医学文本、生物信息、蛋白质工程等10余种医疗数据模态,促进基于医疗基础模型的跨领域、跨疾病、跨模态科研突破,同时助力解决医疗领域的长尾问题,推动医疗大模型的产业落地。

  • 突破小样本、弱标注瓶颈,解决医疗长尾问题

近年来,超大参数深度学习基模型在计算机视觉(CV)、自然语言处理(NLP)等领域获得突破性进展,能够基于大模型的超强泛化能力应用于许多下游任务的分析。然而医学数据在数据模态、成像模式、图像特征等方面种类繁多、差别较大,使得通用大模型难以在医学图像分析方面实现令人满意的性能。在高度关注数据私密性的医疗机构中,落地部署也存在较大困难,当前,针对特定任务进行单独模型训练依然是该领域主流的解决方案。然而,医疗下游长尾任务的数据样本少、标注难度高,这也限制了人工智能在更多医疗场景的应用。

2. BiomedGPT

https://github.com/taokz/BiomedGPT/tree/main

BiomedGPT:用于视觉、语言和多模态任务的统一通用生物医学生成预训练 Transformer

3. IRENE Model

基于肺部图像与临床文本的信息多模态架构;

https://github.com/RL4M/IRENE

A transformer-based representation learning model with unified processing of multimodal input for clinical diagnostics;

猜你喜欢

转载自blog.csdn.net/chumingqian/article/details/131461003