Audio2face와 ue5는 실시간 음성 립싱크를 결합합니다.

audio2face 부분

1. audio2face 및 localserver 설치

2. StreamingPlayer의 데모 씬을 엽니다.

3. localhost/NVIDIA/Assets/Audio2face/blendshape_solve 디렉토리에서 male_bs_arkit.usd를 찾아 장면으로 드래그합니다.

4. 장면에서 male_bs_arkit.usd를 선택하고 페이지를 A2F 데이터 변환 페이지로 전환합니다.

5. 파라미터 설정

6. 매개 변수를 설정한 후 set up blendshape solve를 클릭합니다. 

7. ominiverse 관리 인터페이스에서 audio2face의 설정 위치를 통해 audio2face의 설치 위치를 입력합니다.

8. audio2face 설치 디렉토리 아래 exts\omni.audio2face.exporter\config 디렉토리 아래 extension.toml 파일을 수정하고 하단에 다음 내용 추가

[python.pipapi]
requirements=['python-osc']
use_online_index=true

9. 설치 디렉토리 아래의 exts\omni.audio2face.exporter\omni\audio2face\exporter\scripts 디렉토리에서 facsSolver.py 스크립트를 수정합니다.

인용 osc 스크립트

from pythonosc import udp_cli