Understanding Telecom Language Through Large Language Models
通过大语言模型理解电信语言
Lina Bariah，Hang Zou，Qiyang Zhao，Belkacem Mouhouche，Faouzi Bader，Merouane Debbah
https://arxiv.org/abs/2306.07933v1
重点介绍了微调预训练的LLM可以有效地识别电信语言的类别，其中训练数据中提到了电信问答数据（Telecom Q&A ，TeleQuAD），查阅相关论文得知，该数据目前未公开。
摘要
人工智能（AI）的最新进展为电信网络设计、实施和部署中的许多任务的自动化(自治网络/自智网络)开辟了新的领域。该领域随着生成式人工智能（AIGC）的发展，包括大型语言模型（LLM）的出现得到了进一步的推动，AIGC（LLM等）被认为是实现网络自治、交互式智能体的基石。本文旨在将LLM的范式应用于电信领域，找到适应电信领域的LLM的范例。特别是将几个LLM模型（包括BERT、精简BERT、RoBERTa和GPT-2）微调为电信领域语言处理上，并展示了用于识别（3GPP）标准工作组相关文档内容的用例。作者考虑在与2009-2019年相关的3GPP技术文档上训练所选模型，并预测2020-2023年的技术文档类别。结果表明，微调BERT和RoBERTa模型在识别3GPP工作组方面实现了84.6%的准确率，而GPT2模型实现了83%的准确率。参数减少约50%的蒸馏BERT模型实现了与其他模型类似的性能。这证实了微调预训练的LLM可以有效地识别电信语言的类别。开发的框架展示了从电信语言实现意图驱动和自进化无线网络的进阶过程，为在电信领域实现生成人工智能铺平了道路。
索引术语——生成AI、大型语言模型、预训练转换器、电信语言、3GPP
在过去的几十年里，人们致力于推动无线技术的前沿，通过利用人工智能（AI）作为网络编排/调度/协调器，实现与延迟、可靠性、频谱和能源效率等相关的关键性能指标的达成。最近，并行举措的重点是通过本地智能网络架构的演变来推进自进化网络的范式（以几个名称命名，包括自主网络、零接触网络、自优化/配置/修复网络等）。然而，最近的发展围绕着实现自适应展开，在自适应中，无线网络功能可以自主调整以适应特定场景。自进化网络的终极愿景远远超出了适应性和自动化。特别是，它扩展到实现网络性能的永久可持续性和灵活性，以适应高度复杂、有时不熟悉的网络场景，因此，这需要能够处理不同网络条件的通用、包容和多功能方案。因此，传统的人工智能算法在实现所需性能方面极有可能落后，因此，预计将彻底转向更具创新性的人工智能驱动方法，以塑造下一代无线网络的未来。
基础模型（FM）由斯坦福大学基础模型研究中心（CRFM）于2021年创建，作为能够处理广泛下游任务的广义模型，受到了相当大的关注[14]。特别是，FM是一种超大的神经网络，以自我监督的方式在大量未标记的数据集上进行训练，从而减少了时间和成本（在人类标记的情况下，这将是无法忍受的）。FM经过快速发展，已经在多个领域找到了应用，包括文本分类和总结、情感分析、信息提取和图像字幕。虽然FMs并不旨在遵循特定的模型或应用程序，但与语言相关的模型，即大语言模型（LLM），是当前FMs最常见的子领域之一，它依赖于在大规模语料库上预训练大模型的原理。这种预训练的大型模型，例如来自变换器的双向编码器表示（BERT）[15]和生成预训练变换器（GPT）[16]，可以在各种下游任务中进一步微调，从而避免在新领域从头开始重新训练大型模型的成本。
开发的框架显示了从电信语言实现意图驱动和自进化无线网络的流程，并为在电信领域实现生成式AI铺平了道路
人工智能（AI）的最新进展为电信网络设计、实施和部署中涉及的许多任务的自动化开辟了新的领域。随着生成式人工智能（AI）的发展，这一点得到了进一步的推动，包括大型语言模型（LLM）的出现，这被认为是实现自主、交互式AI代理的基石。出于这一动机，在本文中，我们的目标是适应电信领域的LLM的范例。特别是，我们微调几个LLM，包括BERT，蒸馏BERT，RoBERTa和GPT-2，电信领域的语言，并展示了一个用例，用于识别第三代合作伙伴计划（3GPP）的标准工作组。我们考虑在与2009-2019年相关的3GPP技术文档（Tdoc）上训练所选模型，并预测2020-2023年的Tdoc类别。 结果表明，在识别3GPP工作组方面，微调BERT和RoBERTa模型达到84.6%的准确率，而GPT-2模型达到83%。蒸馏BERT模型的参数减少了约50%，达到了与其他模型相似的性能。这证实了微调预训练的LLM可以有效地识别电信语言的类别。开发的框架显示了从电信语言实现意图驱动和自进化无线网络的垫脚石，并为在电信领域实现生成式AI铺平了道路。
结论
受LLM有希望的潜力的激励，在本文中，我们提出了一个用于3GPP技术文档识别的框架，其中我们利用预先训练的语言模型，使用3GPP数据进行微调，以允许该模型与相应的工作组一起识别3GPP规范类别。更详细地说，我们考虑了BERT、DistilBERT、RoBERTa和GPT-2模型，在这些模型中，使用属于TSG的3GPP Tdocs（即RAN、SA和CT）对它们进行了微调。所获得的结果证明了将预先训练的语言模型适配到电信领域的适用性，在电信领域中，所有微调的模型在不同场景下都显示出准确的分类性能。重要的是要强调开发能够理解电信语言的LLM的重要性，将其作为实现由智能生成代理驱动的自主网络的基石。