如何微调医疗大模型llm：llama2学习笔记

三个微调方向：简单医疗问答 临床问答 影像学
一般流程： 1 数据集准备 2 模型基座选择 3 微调 4 案例拆解

1 数据集准备：两种类型，一种文本一种影像

扩展，多模态

2 模型基座选择

多模态处理所有视频，文本，数字人将会受到威胁，数字人赛道
多模态处理将会对医疗领域有很大的促进
多模态的架构

整个影像大模型现阶段不太成熟，医疗领域的方案，各个医生的方案没有标准的方案，没有办法通用，不会被通用的大模型被替代掉。诊断虽然可能一样，但是治疗方案不太一样，只能将诊疗的阶段给呈现出来。增加知识库做一些知识对齐。

3 微调