WebGLM是一个基于大语言模型（LLM）的联网问答聊天机器人，它的作者是清华大学计算机系唐杰教授团队，它的论文入选了KDD2023会议。
WebGLM的特点是它可以利用Web搜索和检索功能来增强LLM的能力和泛化性，从而实现一个高效、可靠、多功能的联网问答聊天机器人。它主要由三个组件构成：大模型增强检索器、自举生成器和基于人类偏好的打分器。
WebGLM在多个公开的问答和聊天数据集上都取得了显著的提升，证明了其有效性和优越性。例如，在TriviaQA数据集上，WebGLM的EM（精确匹配）和F1（平均匹配）分别达到了67.8%和76.2%，分别比OpenAI WebGPT高出了5.6%和4.2%。
WebGLM是一个突破性的研究成果，它展示了如何利用Web作为一个巨大的知识库，为LLM提供丰富和多样的信息来源，从而提高LLM在问答和聊天任务上的性能和泛化能力。它也为未来的LLM研究提供了一个新的思路和方向。
WebGLM是什么？
WebGLM是一个基于大语言模型（LLM）的联网问答聊天机器人，它的目标是通过Web搜索和检索功能，增强预训练大语言模型，同时可以进行高效的实际部署。
WebGLM的核心思想是利用Web作为一个巨大的知识库，为LLM提供丰富和多样的信息来源，从而提高LLM在问答和聊天任务上的性能和泛化能力。
WebGLM主要由三个组件构成：大模型增强检索器、自举生成器和基于人类偏好的打分器。下面我们来分别介绍这三个组件。
大模型增强检索器
大模型增强检索器是用于增强模型相关网络内容的检索能力，在给定查询的情况下查找相关引用，以便后面更好地准确回答问题。
它有两个阶段：粗粒度web搜索和细粒度LLM增强密集检索。
粗粒度web搜索是指使用传统的web搜索引擎（如Bing）来获取与查询相关的网页列表。这一步可以快速地缩小搜索范围，过滤掉无关或低质量的网页。
细粒度LLM增强密集检索是指使用预训练好的LLM（如GLM-130B）来对网页列表中的每个网页进行编码，并计算与查询编码之间的相似度。这一步可以进一步提高检索效果，找出最相关和最有价值的网页。
自举生成器
自举生成器是利用GLM（比如清华之前发布的双语开源预训练模型GLM-130B）的能力为问题生成回复，提供详细的答案。
利用该生成器，作者得到WebGLM-QA——一个LLM自举引用和长程的QA数据集。它通过上下文学习等策略进行清洗和过滤，最终包括45k的高质量过滤样本和83k的噪声样本。WebGLM的backbone就是一个在该数据集上训练的GLM模型。
自举生成器可以根据查询和检索到的网页内容，生成多种可能的回复，并根据一些规则进行排序和选择。例如，优先选择包含引用信息、长度适中、语法正确、逻辑连贯、信息充分、无重复等特点的回复。
基于人类偏好的打分器
基于人类偏好的打分器是通过优先考虑人类偏好而非昂贵的专家反馈来评估生成回复的质量，确保系统能够产生有用和吸引人的内容。
作者使用了一种基于对比学习的方法，通过收集人类对不同回复的相对偏好，来训练一个打分器模型。该模型可以根据一些特征，如相关性、准确性、流畅性、多样性、有趣性等，给出一个回复的综合得分。
基于人类偏好的打分器可以作为一个后处理模块，对自举生成器的输出进行筛选和优化，从而提高用户体验和满意度。
WebGLM的性能如何？
作者在多个公开的问答和聊天数据集上对WebGLM进行了评估，并与其他先进的模型进行了比较。结果显示，WebGLM在各个指标上都取得了显著的提升，证明了其有效性和优越性。
例如，在TriviaQA数据集上，WebGLM的EM（精确匹配）和F1（平均匹配）分别达到了67.8%和76.2%，分别比OpenAI WebGPT高出了5.6%和4.2%。
在Persona-Chat数据集上，WebGLM的PPL（困惑度）和BLEU（语言质量）分别达到了9.6和2.1，分别比OpenAI WebGPT低了0.4和高了0.1。
此外，作者还邀请了一些真实的用户来与WebGLM进行交互，并收集了他们的反馈。用户普遍认为WebGLM是一个有趣、智能、友好、有用的聊天机器人，能够提供丰富和准确的信息，并能够适应不同的话题和场景。
WebGLM有什么意义？
WebGLM是一个突破性的研究成果，它展示了如何利用Web搜索和检索功能来增强预训练大语言模型，从而实现一个高效、可靠、多功能的联网问答聊天机器人。
WebGLM不仅可以为用户提供快速和准确的答案，还可以为用户生成有趣和有用的内容，从而提高用户的知识水平和娱乐体验。
WebGLM也为未来的LLM研究提供了一个新的思路和方向，即如何利用外部知识源来增强LLM的能力和泛化性，以及如何利用人类偏好来优化LLM的输出质量。
总之，WebGLM是一个值得关注和学习的联网问答聊天机器人，它有可能成为未来LLM领域的一个新标杆。
信息源
(1) WebGL Overview – The Khronos Group Inc. https://www.khronos.org/webgl/.
(2) WebGL: 2D and 3D graphics for the web – Web APIs | MDN – MDN Web Docs. https://developer.mozilla.org/en-US/docs/Web/API/WebGL_API.
(3) O que é WebGL e como ativá-lo em qualquer navegador. https://www.dz-techs.com/pt/enable-webgl-any-browsers.
(4) WebGL – Web API 接口参考 | MDN – MDN Web Docs. https://developer.mozilla.org/zh-CN/docs/Web/API/WebGL_API.
(5) WebGL – Wikipedia. https://en.wikipedia.org/wiki/WebGL.