EchoMimic[ComfyUI]:懂王歌唱祖国,体验表情口型更生动自然的逼真数字人框架

EchoMimic:逼真的音频驱动人像动画

EchoMimic简介

今天社区已有ComfyUI插件支持这款数据人插件了。本文将带大家一起安装部署在ComfyUI中体验这款数字人插件。

  • 插件地址为:https://github.com/smthemex/ComfyUI_EchoMimic.git

官方视觉演示案例

 

 

EchoMimic ComfyUI使用指南

制作了一键部署包,推荐使用当前功能完善且稳定内置环境依赖。

下载地址:

 

首先请确保更新ComfyUI到最新版本,并在插件管理器Git安装安装ComfyUI_EchoMimic插件。最后加载文末工作流文件,即可开始体验。

涉及下载模型如下(如需国内镜像仅需将域名huggingface.co替换为hf-mirror.com):

• Unet模型:

下载Unet模型并放置在 /ComfyUI/models/echo_mimic/unet 目录下。

下载地址为 :https://huggingface.co/lambdalabs/sd-image-variations-diffusers/tree/main/unet。

• EchoMimic模型:下载EchoMimic模型并放置在 /ComfyUI/models/echo_mimic/ 目录下(包含带有pose.pth后缀和不带两个版本,可以一起下载)。下载地址为 :https://huggingface.co/BadToBest/EchoMimic/tree/main。

• stabilityai/sd-vae-ft-mse模型:下载sd-vae-ft-mse模型并放置在 /ComfyUI/models/vae/stabilityai/sd-vae-ft-mse 目录下。下载地址为 :https://huggingface.co/stabilityai/sd-vae-ft-mse/tree/main。

 

插件安装:

图片[1]-EchoMimic[ComfyUI]:懂王歌唱祖国,体验表情口型更生动自然的逼真数字人框架-子青资源网

在插件安装中可能遇见的问题,请确保下面依赖版本。来自Issue:https://github.com/smthemex/ComfyUI_EchoMimic/issues/9

pip install moviepy==1.0.3pip install ffmpeg-python -U

目录结构:

图片[2]-EchoMimic[ComfyUI]:懂王歌唱祖国,体验表情口型更生动自然的逼真数字人框架-子青资源网

工作流界面

图片[3]-EchoMimic[ComfyUI]:懂王歌唱祖国,体验表情口型更生动自然的逼真数字人框架-子青资源网

这里需要注意如下:

  1. 1. 插件的Pose这是一个新功能,当前还处于开发中,需要关闭。
  2. 2. 调整参数length,否则会出现仅5秒的音频文件。length = 24(帧数)* 音频时间(秒)
  3. 3. 不要用VH的音频合成,目前有bug,音频合成很慢,推荐直接save_vide保存结果。在 /ComfyUI/output 目录下。
  4. 4. 遇见问题可以提前查阅下issue:https://github.com/smthemex/ComfyUI_EchoMimic/issues/9

 

© 版权声明
THE END
喜欢就支持一下吧