【大模型AIGC系列课程 3-6】ChatGLM2-6B的应用

重磅推荐专栏： 《大模型AIGC》；《课程大纲》
本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

1. 模型推测

!pip install transformers
!pip install sentencepiece

默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained(