RWKV配上ChatGPTBox让我们在浏览器中感受AI带来的魅力

这次我们来讲讲RWKV搭配ChatGPTBox结合使用带来的功能体验,这两个项目都是同一个大神创建的,完全可以无缝搭配进行使用。

以下是我之前在本地部署了AI模型RWKV的教程,如果还没有本地部署过AI的童鞋可以查看我之前发布的教程,在自己的电脑上部署一套AI系统,即使不联网也能够使用,好处多多。

本地化部署AI语言模型RWKV指南,ChatGPT顿时感觉不香了

RWKV-Runner

RWKV-Runner一个一键部署的开源可商用大语言模型工具,能够与ChatGPTBox配合使用

项目地址:

https://github.com/josStorer/RWKV-Runner/

RWKV-Runner服务器配置

我在内网一台闲置服务器作为API服务器,由于没有GPU,所以可以将模型改为CPU-28G-78-CN,模型库需要从Huggingface上重新下载,一般选择后启动服务时会自动提示需要下载模型,我们在弹出的提示信息框中点击下载即可。

  • 模型下载地址
https://huggingface.co/BlinkDL/rwkv-4-raven/resolve/main/RWKV-4-Raven-7B-v12-Eng49%25-Chn49%25-Jpn1%25-Other1%25-20230530-ctx8192.pth

在这里插入图片描述
模型下载完成后点击聊天界面右上角的启动按钮,等到模型加载完毕,状态显示为 运行中 就可以开始进入对话模式了。

在这里插入图片描述
如果需要非本机调用API,记得将 允许外部访问API 功能启用,并且重启启动器及模型。
在这里插入图片描述

ChatGPTBox

ChatGPTBox是一个将ChatGPT整合到浏览器中的一个插件,功能强大。

  • 项目地址
https://github.com/josStorer/chatGPTBox

该项目提供了多种浏览器版本的支持,使用chrome、360、百度、傲游等浏览器的同学可以下载 chromiun.zip 压缩包进行目录安装。

在这里插入图片描述

安装扩展

在Chrome浏览器中,你可以通过以下步骤安装目录中的插件:

  1. 打开Chrome浏览器,点击右上角的菜单按钮(三个竖点)。
  2. 选择“更多工具”选项,然后选择“扩展程序”。
  3. 在扩展程序页面的右上角,打开“开发者模式”。
  4. 点击“加载已解压的扩展程序”。
  5. 在弹出的文件选择对话框中,选择你要安装的插件所在的目录。
  6. 点击“选择文件夹”按钮,Chrome浏览器将自动加载并安装该插件。
  7. 安装完成后,你可以在扩展程序页面中看到该插件的图标。
    请注意,Chrome浏览器只允许安装来自Chrome Web Store的扩展程序。如果你想安装来自其他来源的插件,你需要打开开发者模式,并按照上述步骤手动安装。同时,你需要确保你要安装的插件是安全可靠的,以避免安全问题。

在这里插入图片描述

配置ChatGPTBox

以下是对ChatGPTbox插件功能的具体配置介绍

点击图标进行会话

点击插件图标时默认会弹出设置界面

在这里插入图片描述

当然我们也可以直接打开聊天对话,只要将当图标被点击时选择新建聊天即可,此时点击图标会出现一个漂浮在浏览器页面中的聊天窗口
在这里插入图片描述

显示方式

显示方式还请据自己的需求,在常规页面中进行设置,喜欢哪个选哪个。
在这里插入图片描述

API地址

进入高级 - API地址,修改自定义的OpenAI API地址,如果是本机启动,则输入127.0.0.1:8000,如果修改过端口请注意端口号是否正确。

在这里插入图片描述

  • 同网段服务设置

如果是内网同IP段的RWKV服务器,地址请先获取ip地址。

  • Windows获取ip地址命令
ipconfig

API模式

高级 - API模式 中我们可以将不需要显示的功能勾去掉,勾上自定义模型。当然你如果有Chatgpt的Key或者其他更好的选择,则视情况选择。

在这里插入图片描述

常规设置

常规 页面中API模式选择自定义模型,名称默认为rwkv,我们也可以自己取一个好听的名字,比如小爱同学。

在这里插入图片描述

功能页

设置完成后进入功能页,我们打开独立对话页或独立对话窗口就可以开始对话了。
在这里插入图片描述

使用ChatGPTbox

搜索引擎触发AI

当你在搜索引擎中搜索问题时,搜索栏下方已嵌入了模型对话工具,如果在设置中设置了自动触发,则当你搜索时就会自动与AI进行会话并给相应的的回答。

在这里插入图片描述

如果不需要每个问题都自动触发,则需进入常规 页面中将触发方式修改为手动触发。

在这里插入图片描述
当你在搜索问题后可以点击下方的 询问ChatGPT 按钮来获取AI的答案。

在这里插入图片描述

当然我们也可改为问题以问号结尾时触发,这样就可以通过结尾加上来自动触发。

独立窗口页

在这里插入图片描述

翻译功能

当你在页面中通过鼠标选择英文词语或句子时会弹出一个功能菜单

在这里插入图片描述
翻译时注意把固定按钮给点上,否则鼠标在窗口外点击就会消失。## 标题
在这里插入图片描述
基本内容就介绍到这里了,其他更多内容就等你们来继续挖掘了,希望本文对你的学习带来更多的帮助。

猜你喜欢

转载自blog.csdn.net/no1xium/article/details/131063614