几周前，我使用检索增强生成 (RAG) 训练并部署了自己的问答系统。我们的目标是在我的学习笔记中引入这样一个系统，并创建一个代理来帮助我连接点。LangChain真正在这些特定类型的应用中大放异彩：
当系统的质量让我震惊时，我忍不住更深入地了解其背后的魔法。RAG 管道的功能之一是它能够筛选大量信息并找到与用户查询最相关的上下文。这听起来很复杂，但始于一个简单而强大的过程：将句子编码为信息密集的向量。
免费创建这些句子嵌入的最流行的方法就是 SBERT，它是一个基于传奇的 BERT 编码器构建的句子转换器。最后，这给我们带来了本系列的主要目标：了解 BERT 的迷人世界。它是什么？你能用它做什么？还有一个价值百万美元的问题：如何从头开始训练自己的 BERT 模型？
我们将首先揭开 BERT 到底是什么的神秘面纱，深入研究它的目标和广泛的应用，然后继续讨论实质内容——比如准备数据集、掌握标记化、理解关键指标，最后是ins以及训练和评估模型的时间。
本系列将非常详细和技术性，包括代码片段以及 GitHub 存储库的链接。相信看完这篇文章，你会对为什么 BERT 被视为 NLP 领域的传奇模型有更深入的了解。因此，如果您和我一样兴奋，请拿起 Colab 笔记本，让我们开始吧！
Learning Rate是为那些对 ML 和 MLOps 世界感到好奇的人提供的时事通讯。如果您想了解有关此类主题的更多信息，请在此处订阅。您会在每个月的最后一个周日收到我的来信，其中包含有关最新 MLOps 新闻和文章的更新和想法！
定义
BERT 全称为 Bi Direction Encoder Representations from Transformers，是 Google 于