同時通訳の効果を簡単に説明するために、以前にいくつかのビデオを投稿しました（グラフィックカードは Tesla P40 で、効果は比較的悪いですが、機能は問題ありません）
Vrchatがリアルタイム翻訳と音声出力を試す_bilibili_bilibili
実装のアイデアと関連する構成を書き留めます (アイデアに基づいて他のソフトウェアや Web サイトを使用できます)
もちろん、このセットは他のソフトウェアやVRでも使用できます。
事前環境
ローカルで使用されているグラフィックス カードは Tesla P40 です。
Ubuntu 22.04.3 LTS、
コンダ管理、
Python3.9.16、
プロキシがサーバー上に構成されている
シームレス ストリーミングでは ws が使用されるため、リモート アクセスには https が必要となるため、openssl 自己署名証明書を使用して、リバース プロキシを開く必要があります。(シームレスストリーミングの導入については本ノートでは説明しません。ここでは主に実用化の考え方や手法について説明します)
重要なソフトウェア
1.ボイスメーター（音声変換マイク）
2. Sogou Pinyin 入力方式 (期待していませんでした) は外国語をリアルタイムで中国語に翻訳します
3. シームレス ストリーミング。自分で構築するか、他のリアルタイム TTS サービス (ささやきデスクトップ + NetEase Monster または Bark など) を使用する必要があります。ただし、基本的に継続的な WebSocket 変換はないと思います。話したりクリックしたりする必要があります。自分でマイクを使う）、またはお金を払って Microsoft の翻訳のようなものを使用する（まだ勉強していません）
4. (オプション) ボイスチェンジャー。ソビッツモデルを必要とするボイスチェンジャーを使用しました。
5.
ボイスチェンジャーが必要な場合は、サイト b で検索できます。多くのチュートリアルがあります。
入力（外国語翻訳中国語）
入力変換プロセスは
単純にvrchat→音声ミータ→Sogou Pinyin入力方式音声入力→txtファイルです。
音声メーターとVRChatの設定に焦点を当てています
vrchatのサウンド設定
1.vrchat サウンド設定
このサウンド設定は、システム -> サウンド -> ボリューム シンセサイザーにあります。
2.音声メーターの設定
声を変更したい場合は、写真バージョン (仮想サウンド カード 3 枚) を使用してください。それ以外の場合は、バナナで十分です (仮想サウンド カード 2 枚)。
音声メーターの設定については、
最初の設定をご覧ください。
A2 にチェックを入れると、物理サウンド カード (右側の A2 で設定されたサウンド カード) にサウンドが出力されることを示します。ここでは、元のサウンドを聞きたいためヘッドフォンを選択しました。
B1にチェックを入れると、ボイスミータが仮想マイクドライバーであるボイスミータVAIO OUTPUTに音声を変換することを意味します ちなみにB2は仮想マイクAUX OUTPUT、B3はVAIO3 OUTPUTに対応します。
構成デバッグのリファレンス
設定が成功した後、ボリュームが変動すると、対応する出力が表示されます。
3. Sogou の入力を構成する
このようにして音声が Sogou に送信されます（実際に試してみてください。最初はビデオを録画しましたが、考えた結果、入力することにしました）
出力（シームレスなストリーミングに基づいて中国語から英語に話します）
実装プロセス
シームレス ストリーミングのインストールに関しては、meta の公式 Readme に従うだけで、あとは Python を少し理解するだけで済みます。
アドレスはhttps://huggingface.co/spaces/facebook/simless-streaming/tree/main
で 、プロジェクトには Readme ファイルが付属しています。
ちなみに、このシームレスストリーミングは実際に感情を翻訳することができ（ただしモデルへの申請が必要）、代替樹皮も利用可能だ。
次に、ブラウザのサウンド設定があります（VRを使用している場合は、外部入力を仮想デスクトップまたはOculusヘッドフォンに変更するだけです）。
vocie meetserの設定を再度表示する
ボイスミータの設定は
基本的にこれで完了なので、そのままvrchatのマイク設定に進むことができます。
もちろん、 VAIO3を使用する場合
、私のような男はボイスチェンジャーの設定をもう1つ追加します。
ボイスチェンジャークライアントの設定
もちろんvrchatのマイクも変更する必要があります
AUX
エフェクトを使ってぜひ体験してみてください！（ただ声が少し汚いだけです）