GPT-Crawler一键爬虫构建GPTs知识库

写在最前面

GPT-Crawler一键爬虫构建GPTs知识库
能够爬取网站数据，构建GPTs的知识库，项目依赖node.js环境，接下来我们按步骤来安装，非常简单

参考：https://zhuanlan.zhihu.com/p/668700619

---

在信息爆炸的时代，数据成为了新的石油。但是，如何有效地从这无穷无尽的网络信息中提取有价值的知识，成为了技术人员面临的一大挑战。特别是对于GPTs这样的先进技术，构建一个强大且更新的知识库是至关重要的。这就是我们今天要介绍的GPT-Crawler一键爬虫工具的使命所在——一种强大的工具，旨在帮助开发者和数据科学家高效地构建和维护GPTs的知识库。

在这篇博客中，我们将深入探讨如何利用GPT-Crawler来捕获和处理网络数据，从而为GPTs模型提供丰富而精准的信息。从安装Node.js作为运行环境的基础开始，我们将一步步指导您如何安装和启动GPT-Crawler。此外，我们还会介绍如何将这个强大的爬虫工具与OpenAI的技术结合起来，以及如何自定义assistant和GPTs，以满足您特定的需求和偏好。

无论您是一名经验丰富的开发者，还是对数据科学和人工智能有浓厚兴趣的初学者，这篇博客都将为您提供宝贵的知识和实践指导。通过阅读本文，您不仅能够了解如何构建一个高效的GPTs知识库，还能够获得关于如何自定义和优化爬虫的实用技巧。那么，让我们一起开始这趟激动人心的技术之旅吧！

安装node.js

Node.js下载地址：https://nodejs.org/en
下载20.10.0版本即可，下载后一路默认安装

安装完成后在命令行输入node -v，显示版本则安装成功

安装GPT-Crawler

项目地址：https://github.com/BuilderIO/gpt-crawler
这个项目能爬取网站数据，生成用于创建GPTs的知识库文件
打开项目地址后，点击【Code】，下载压缩文件，保存到电脑本地解压

VSCode官网下载：https://code.visualstudio.com/Download

用VSCode编码工具打开，
或者点开VSCode，左上角文件，点击打开文件夹，地址选择解压的地址

切换到项目目录（例如我的是C:\Users\Yu\Desktop\gpt-crawler-main\gpt-crawler-main>），右键，选择在集成终端中打开
输入npm install，把项目依赖包进行安装

启动爬虫

npm start

日志输出下面这些为正常：

最后程序会在项目根目录输出文件output.json，这就是我们需要的文件。
输出的文件就在该目录下
点开看一下，很完美

结合 OpenAI

这步需要一个 OpenAI 账户，我们需要将生成的文件上传给 OpenAI。

自定义 assistant

选择 assistant 的优势是，我们可以使用 OpenAI 提供的 assistant API，集成到自己的系统中。

操作步骤：
1、进入自定义 Assistants 页面https://platform.openai.com/assistants
2、创建一个 Assistant
3、添加上面生成的output.json文件
4、配置其他选项

上传配置完点击保存，然后开始测试：

自定义 GPTs（笔者用的这个）

自定义 GPTs 和上面的操作类似，大家自行体验。GPTs 需要大家付费 Plus，并且官方似乎还没有提供 GPTs 的 API 可用。

总结

GPT Crawler 项目能让我们只做简单的配置，即可自定义自己的知识库。结合 OpenAI 的 API，能够做很多的事情。大家自行体验。