t5 &mt5参数量

目录

t5参数量：

 mt5参数量：

---

t5参数量：

参考链接：reference

• base版本：24层，隐层768维，12个注意力头，参数量为220M
• small版本：12层，隐层 512维，8个注意力头，参数量约为60M
• Large版本：48层，隐层1024维，16个注意力头，参数量约为770M
• 3B和11B版本：48层，隐层1024维，分别为32/128个注意力头，参数量达到了 2.8B和11B

 下载地址：

https://huggingface.co/t5-base/tree/main

 mt5参数量：

参考链接：reference

• mT5-Small (300 million parameters): gs://t5-data/pretrained_models/mt5/small
• mT5-Base (580 million parameters): gs://t5-data/pretrained_models/mt5/base
• mT5-Large (1.2 billion parameters): gs://t5-data/pretrained_models/mt5/large
• mT5-XL (3.7 billion parameters): gs://t5-data/pretrained_models/mt5/xl
• mT5-XXL (13 billion parameters): gs://t5-data/pretrained_models/mt5/xxl

下载地址：https://huggingface.co/google/mt5-base

扫描二维码关注公众号，回复： 16459110 查看本文章