生成式大模型调研（部分）

OpenAI
- chatGPT
  - 主要API: API name -- 基础模型
    - text-davince-003 -- GPT3(175B)
    - gpt-3.5-turbo-0301 -- GPT3.5，对应ChatGPT
    - code-davinci-002 -- CodeX(12B)
- GPT4（需开通Plus）
  - API: gpt-4/gpt-4-0314/gpt-4-32k/gpt-4-32k-0314
  - 基础模型：GPT4
开源模型
- LLaMa(7B/13B/33B/65B)（英语）：1.4T Tokens，2048*A100/80G*21day
  - 衍生模型：stanford-alpaca
    - 指令微调 + text-davince-003生成数据52K，epoch=3, 8*A100/80G，用时3小时
    - 低资源版本
      - alpaca-lora
        
        指令微调，RTX4090（24G）数小时训练
        
        使用lora方法，固定LLaMA参数，迭代更新lora参数
        
        主要衍生模型
        
        chinese-alpaca-lora(cn)：https://github.com/ymcui/Chinese-LLaMA-Alpaca
        
        gpt-3.5-turbo样本生成，7B：ISF + 2M数据，13B：ISF+3M数据
        
        Luotuo-Chinese-LLM(cn)：https://github.com/LC1332/Luotuo-Chinese-LLM
        
        数据及训练不详细
        
        baize-chatbot(en)：https://github.com/project-baize/baize-chatbot
        
        54K/57K/47K dialogs from Quora, StackOverFlow and MedQuAD questions
        
        Vicuna(en)：https://github.com/lm-sys/FastChat
        
        ShareGPT收集7w对话数据，上下文长度从alpaca的512扩展到2048 + SFT
- BLOOMZ(1B/3B/7B/176B)(多语言)
  - 衍生模型：BELLE(7B)(cn)：https://github.com/LianjiaTech/BELLE
    - 以LLAMA/BLOOM为基础模型，加入不同的数据量分布进行训练，并引入不同的优化方法，有对比评测结果，可以重点参考，ISF + 1.5M微调数据
  - 衍生模型：FireFly(3B)(cn)：https://github.com/yangjianxin1/Firefly
    - 基础模型bloom-1b4-zh/2b6-zh + ISF + 23个任务115W微调数据 + Belle 50w微调数据
- GLM(6B/130B)（中文）：https://models.aminer.cn/
  - ChatGLM-6B：https://github.com/THUDM/ChatGLM-6B
    - 目前开源模型中在中文上表现最佳（MOSS之前试用）
- MOSS-16B(中文)：https://github.com/OpenLMLab/MOSS
医学领域GPT模型
- ChatDoctor(en)：https://github.com/Kent0n-Li/ChatDoctor
  - 以LLAMA为底座模型，在stanford alpaca基础上，进行指令再微调，并引入lora加快训练
  - IFS+100k+10k+5k+52k
- Huatuo-Llama-Med-Chinese(cn): https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
  - 使用gpt3.5接口对cMeKG知识库构建8k条问答数据，参考alpaca-lora进行指令微调训练，同时提供了基于ChatGLM(6B)的模型
- BioMedLM: https://crfm.stanford.edu/2022/12/15/pubmedgpt.html
  - 使用Pubmed医学学术文档重新训练的领域大模型
- BioMedGPT: https://github.com/BioFM/OpenBioMed
  - 清华AIR发布的生物医学(制药)领域的大模型1.6B

附幕布脑图链接密码: yhr6

[大模型] 部分开源大模型调研及提纲式关键信息整理

生成式大模型调研（部分）

猜你喜欢