本期带来蚂蚁集团最新推出的音频驱动图像数字人工具——EchoMimic
EchoMimic是阿里巴巴达摩院开发的一项AI技术,能够通过给定的音频和一张面部照片,生成与音频口型动作匹配的说话或者唱歌视频,做口播视频或者趣味唱歌视频都可以。该技术在娱乐、教育、虚拟现实和在线会议等领域有广泛应用前景。
工具已打包好,文末获取。
软件功能:
- 口型同步生成:通过音频和面部照片,生成口型动作与语音完美匹配的视频。
- 自然逼真:融合音频和面部标志点特征,生成的面部动画符合真实面部运动和表情变化。
- 多语言支持:支持多种语言和风格的口型同步,包括普通话、英语和歌唱。
应用场景:
- 娱乐:生成电影、电视和游戏中的角色对话,增强观众体验。
- 教育:创建互动教学视频,提高学习效果。
- 虚拟现实:在VR环境中生成逼真的面部动画,提升用户沉浸感。
- 在线会议:生成与音频同步的口型动画,提高远程交流效果。
- 增强现实:在AR应用中生成逼真的面部动画,增强用户互动体验。
配置要求:
建议电脑满足以下配置:
- 操作系统:Windows 10/11 64位
- 显卡:至少8G显存的英伟达(NVIDIA)显卡,显卡性能越高生成速度越快,条件充足就上4090系。
如何查看显卡品牌型号和显存:
- 打开任务管理器
- 点击“性能”
- 点击“GPU”
- 右上角可以看到显卡型号,下方可以看到显存大小
使用教程:
① 文末下载整合包之后解压,建议使用winrar解压(解压软件下载地址:https://www.winrar.com.cn/)
注意:文件夹路径和文件名称不要出现中文字符,否则部分软件会因识别不出而报错
② 双击“一键启动.bat”,稍等片刻会在浏览器中自动打开操作界面
③ 上传图片,上传音频,可以调整参数,或保持默认,点击提交,生成结果会位于右侧上传图片的素材要求人形正脸,五官清晰可见,可参考本页面底部官方案例④ 可以播放查看,点击右上角下载按钮可以保存至指定文件夹
# 案例展示:
小编上传音频时点错了,选了个男声,听起来是不是有点……
小编是用官方的案例库生成的,但仅仅是5s的视频用的4060显卡(笔电8G),足足运算了15min,整个过程风扇一直在疯狂咆哮,电脑局部温度达75°C,因此,小编建议一定最好要台式电脑(推荐配置4090 + 64GRam +水冷散热),并且室内打开空调,这样才能发挥最大性能!
启动包下载:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END