vector_companion：智能陪伴，畅享互动新体验
项目地址: https://gitcode.com/gh_mirrors/ve/vector_companion 项目介绍
vector_companion 是一个创新的开源项目，旨在为您在电脑上的各类活动提供智能陪伴。无论是游戏、观影还是网上冲浪，vector_companion 中的 Agent 们都能与您实时交流，并针对您的行为进行互动讨论。项目背后 Motivation 是打造一群生动、响应迅速、充满魅力的多模态虚拟伴侣，他们能够看到、听到并谈论屏幕上呈现的任何内容！
这些 Agent 会同时转录音频输出和用户麦克风输入，并周期性地截取屏幕截图以及查看/读取屏幕上的 OCR 文本。他们利用这些信息形成对话，海阔天空地与您闲聊！
项目技术分析
vector_companion 项目采用了多种先进技术，包括图像识别、语音识别、语音合成以及自然语言处理等。以下是项目的技术架构概览：
- 图像识别：周期性地查看屏幕图像，通过 OCR 技术识别文本，并对图像进行标注。
- 语音识别：实时转录计算机音频输出（受限于模型大小，默认为英语），并可通过更换模型实现多语言支持。
- 麦克风输入：实时接收用户麦克风输入，同样支持英语以及通过更换模型实现多语言支持。
- 语音克隆：为 Agent 提供独特的语音输出。
- 网络搜索功能：通过 duckduckgo_search 实现网络搜索。
项目及技术应用场景
vector_companion 的应用场景广泛，适合以下几种使用情况：
- 个人娱乐：在游戏、观影时，Agent 可以为您提供实时陪伴和讨论，提升娱乐体验。
- 教育辅助：在学习过程中，Agent 可以帮助您总结、整理学习内容，并与之互动。
- 在线工作：在进行在线会议或工作时，Agent 可作为助手，记录要点、提供信息。
项目特点
- 互动性：vector_companion 的 Agent 可以与用户进行实时互动，提供更自然的交流体验。
- 多模态支持：项目支持图像、文本、语音等多种模态的输入和输出。
- 自定义性：用户可以根据需求更换不同的模型，实现个性化的功能。
- 易用性：虽然技术复杂，但项目提供了详细的安装指南和操作说明，易于上手。
以下是详细的项目安装和使用步骤：
安装
环境准备
- VRAM 需求根据所选模型不同而有所变化，请查阅
config.py。 - 安装与 CUDA 版本兼容的
torch（Mac 用户直接安装 torch）。 - 安装 Ollama 并下载所需模型。
音频回放
- Windows：安装 VB-Cable，并在声音设置中连接到耳机。
- MacOS：安装 Blackhole 或 Soundflower。
- Linux：通过命令创建 Virtual Sink，并通过 PulseAudio 配置使其在启动时自动加载。
克隆与使用
git clone https://your-code-platform.com/SingularityMan/vector_companion.git
cd vector_companion
conda create --name vector_companion
conda activate vector_companion
pip install -r requirements.txt
安装完毕后，运行 activate.bat 或 main.py。
conda activate vector_companion
python main.py
vector_companion 作为一个开源项目，不仅为用户提供了高效便捷的服务，也为开发者提供了广阔的探索空间。通过持续的技术迭代和社区支持，相信 vector_companion 将在智能化陪伴领域发挥越来越大的作用。