一、简介
欢迎阅读我们关于使用大型语言模型构建强大应用程序的两部分博客系列的第一部分。在本系列中，我们将探讨如何利用这些模型开发智能应用程序，从大量文本数据中提取见解。
在第 1 部分中，我们将重点介绍数据收集和预处理的关键步骤。我们将指导您完成从尼日利亚国民议会网站抓取数据、提取相关信息并将其存储以供进一步分析和应用程序开发的过程。
我们的最终目标是构建一个复杂的 Discord 机器人，彻底改变我们与大量与尼日利亚国民议会相关的文本的交互方式。该机器人将利用大型语言模型为用户问题提供准确的答案，使其成为访问信息和从大量可用数据中获得见解的宝贵资源。
为实现这一目标，我们将利用强大的基于云的平台 Modal 来执行代码，利用 MongoDB Atlas 作为基于云的数据库服务，并利用 AWS S3 来存储与尼日利亚国民议会文件相关的大量 PDF 文件。
在第 1 部分中，我们将介绍数据收集和预处理的复杂性。我们将演示如何抓取网页、从 HTML 表中提取信息以及将数据存储在 MongoDB Atlas 中。我们还将展示如何获取 PDF 文件并将其保存到 AWS S3 以供将来参考。
到第 1 部分结束时，您将在数据收集和预处理方面打下坚实的基础，为第 2 部分做好准备。在下一部分中，我们将重点介绍使用大型语言模型构建智能问答系统。我们将设计一个用户友好的界面，整合数据清洗技术，充分发挥大型语言模型的潜力，为用户的查询提供准确而有洞察力的答案。
请继续关注我们开始构建复杂的 Discord 机器人这一激动人心的旅程，该机器人利用大型语言模型彻底改变我们访问尼日利亚国民议会的大量信息并与之互动的方式。让我们深入第 1 部分，探索数据收集和预处理的复杂性，为我们的智能应用程序奠定基础。