数字人技术调研

目标:
(1)PC网页端有一个数字人中本聪,可以说话,与用户进行生动的交互
(2)手机APP有一个数字人中本聪
(3)Mac和Windows客户端,有一个数字人中本聪(就像以前的瑞星小狮子一样)

7月中旬之前搭建中本聪GPT的PC网页版本
**一定不是基于头像的聊天窗口,一定要有数字人 **

最基础的需求就是:弄一个插画人,然后实现语音口型同步
然后鼠标垫下他,就能有些反馈,鼠标移动,他的头跟着动

目前选择Live2D方案,后期支持中本聪变身二次元萌妹,各种中本姬。
大把素材在网上也能便宜买到
image.png

image.pngimage.png

Live2D介绍

效果参考:
B站直播参考
B站直播参考2
小狐狸效果
B站视频效果
效果代码

文章参考:
前端+Python实现Live2D虚拟直播姬
写个AI虚拟主播:看懂弹幕,妙语连珠,悲欢形于色,以一种简单的实现
给网页上的 Live2D 添加语音口型同步
live2D口形同步文档
ChatGPT × Vits丨零基础搭建简易AI虚拟女友教程

开源项目参考:
AI-Vtuber虚拟主播直播
pixi-live2d-display
语音合成系统 VITS
SadTalker
Wav2Lip
audio-drive-live2d-with-vits-support
直播方案,脸型追踪: https://denchisoft.com/

技术调研关键词:

  • 唇动合成
  • 口形同步

猜你喜欢

转载自blog.csdn.net/qq_44089890/article/details/131755718
今日推荐