之前发了几个视频简单的演示了下同声传译的效果（显卡是特斯拉P40，效果比较差，功能是ok了）
Vrchat 尝试实时翻译和语音输出_哔哩哔哩_bilibili
写一下实现的思路和相关的配置（可以根据思路换其他的软件或者网站实现）
当然这一套也是可以用在其他软件，或者在vr中使用的
前置环境
本地使用的显卡是特斯拉P40，
Ubuntu 22.04.3 LTS，
conda管理，
python3.9.16，
服务器上配置了代理
因为seamlessstreaming用到了ws，一定要https才能远程访问，因此得用openssl自签证书，然后反向代理开出去。（seamless streaming的部署不在本次笔记中描述，这里主要描述实际应用的思路和方式）
关键软件
1.voice meeter(声音转换麦克风)
2.搜狗拼音输入法（没想到吧）将外语实时翻译成中文
3.seamless streaming，需要自己搭建，或者使用其他的实时tts服务（whisper desktop+网易易魔声或者bark等，但是我看基本没有持续的websocket转换，需要自己说话点一下麦克风），或者掏钱使用微软的itranslate那种（没研究过哈）
4.（可选）变声器，我用了需要sovits模型的voice-changer
5.voice changer
需要的话可以自己去b站里搜，很多教程的
输入（外语翻译中文）
输入转换流程
简单来说就是vrchat->voice meeter->搜狗拼音输入法 语音输入->txt文件
重点是voice meeter的配置和vrchat的配置
vrchat的声音配置
1.vrchat声音配置
这个声音配置是在系统->声音->音量合成器
2.voice meeter配置
如果要变声，使用photo版本（三个虚拟声卡），否则banana就行了，2个虚拟声卡
voice meeter的配置
主要看第一个就行了
勾上A2，表示声音要输出到实体声卡，就是右边A2配置的声卡，我这里选了耳机，因为我想听到原声
勾上B1，表示voice meeter将声音转换到 voice meeter VAIO OUTPUT 这个虚拟麦克风驱动，顺带一提B2对应虚拟麦克风AUX OUTPUT，B3对应VAIO3 OUTPUT
配置调试参考
配置成功后，有音量波动就是有相应输出了
3.配置搜狗的输入
这样就把声音传给搜狗了（实际可以自己去试下，本来我录制了视频，但是嘴碎想想还是打打字算了）
输出（说中文转英文，基于seamless streaming）
实现流程
关于seamless streaming的安装直接按照meta官方的readme来，然后只需要会一点点python就行
地址是https://huggingface.co/spaces/facebook/seamless-streaming/tree/main
项目自带readme文件
顺带一提这个seamless streaming其实是可以把情绪也翻译过来的（但是要申请模型），替代方案bark也是可以的。
然后是浏览器的声音配置（如果是使用vr的话，外部输入改成virtual desktop或者Oculus的那个headphone就行）
再展示下vocie meeter的配置
voice meeter配置
到这里基本完事了，可以直接去vrchat里设置下麦克风
使用VAIO3
当然，像我这样的男人，会加一点one more thing，也就是变声器的配置
voice changer client的配置
当然，vrchat中的麦克风也要改
使用aux
效果自行体验哈！（就是声音有点痴呆）