十九、虚拟主播

1、创建自己的数字人
    a) 登录Quixel Bridge
    https://www.unrealengine.com/zh-CN/bridge
    b) 选择产品-MetaHuman
    https://www.unrealengine.com/zh-CN/metahuman?state=%2Faccount%2Fpersonal
    点击creator,选择版本为5.1
    c) 立即开始:
    https://metahuman.unrealengine.com/mhc
    d) 点击创建
    选择一个数字人,再击创建所选,即可进行;


    e) 在ue编辑器中Quixel Bridge插件,在my MetaHuman中,选择自己创建的数字人,然后点击add,就可以在内容抽屉中看到metahuman文件夹了。
    f) 场景创建
    dcc软件搭建房子场景
    然后导入房间模型到ue5
    调整木地板,墙,沙发的材质,灯光;
    导入metahuman文件到场景
    安装mixamo converter软件,将虚拟人.fbx文件上传,搞出一个其它的姿势,如坐着。
2、人脸驱动数字人
    即用手机软件获取人脸表情,然后传递给数字人,详前述章节
3、文字驱动数字人
    UE5.2 + Metahuman SDK;
    登录账号后,打开EPIC启动器,选择 虚幻引擎--虚幻商城,搜索“Metahuman SDK",在页面上选择安装到引擎,选择需要的引擎版,这样就将插件整合到了工程中了。然后在插件中启动该插件;
    创建一个文字转语音的资产:
        内容浏览器右击--create speech from text,选择goole:cmn-cn...,输入文字[各位领导,女士们,先生们,欢迎光临shandy科技,子曰:有朋自远方来,不亦乐乎!],点击生成

    右击音频--create Lipsync Animation,选择需要产生口型动画的骨架。下拉选择时,为了使生成的动画整合到Metahuman,我们需要选择EMetahuman,从而产生Metahuman兼容的口型合成动画。单选框选中,生成面部,颈部动画;下拉选择表情等等。


    然后将前面的数字人拖到场景中;
    右击选择过场动画--关卡序列,然后将数字人拖到轨道中; 

         删除face和body下默认的动作,在face中选择刚才生成的动画文件;并将声音文件拖进去。点击播放,即可实现数字人动画效果。


    如果要使body也动,可右击声音文件,create Lipsync Animation,再创建一个文件,拖到body下即可。
    如果播放时意外出现闪退,那不是版本5.2的原因,有他:1)没有打开主关卡界面,而是打开了一个默认的未保存的关卡界面。2)开始和结束点没有设置好。一开始我试了好几次都闪退,后面用这二点后,就再没有出现了。
4、其它开源
    https://github.com/facebookresearch/pifuhd
        用照片生成3d数字人
    https://github.com/ashawkey/RAD-NeRF
        实时驱动照片说话
    https://aigc.yizhentv.com/
        一帧秒创,自动根据方案找图片,然后生成视频
     AvatarCLIP模型
        一个用于 3D 头像生成和动画的文本驱动框架;
     选择生成模型下载 FBX 格式后即可导入blender、Unity中 或上传至 Mixamo(拥有丰富的运动库) 中进行创作。

猜你喜欢

转载自blog.csdn.net/vandh/article/details/131909345