EchoMimic:逼真的音频驱动人像动画
EchoMimic简介
今天社区已有ComfyUI插件支持这款数据人插件了。本文将带大家一起安装部署在ComfyUI中体验这款数字人插件。
- 插件地址为:https://github.com/smthemex/ComfyUI_EchoMimic.git
官方视觉演示案例
EchoMimic ComfyUI使用指南
制作了一键部署包,推荐使用当前功能完善且稳定内置环境依赖。
下载地址:
首先请确保更新ComfyUI到最新版本,并在插件管理器Git安装安装ComfyUI_EchoMimic插件。最后加载文末工作流文件,即可开始体验。
涉及下载模型如下(如需国内镜像仅需将域名huggingface.co替换为hf-mirror.com):
• Unet模型:
下载Unet模型并放置在 /ComfyUI/models/echo_mimic/unet 目录下。
下载地址为 :https://huggingface.co/lambdalabs/sd-image-variations-diffusers/tree/main/unet。
• EchoMimic模型:下载EchoMimic模型并放置在 /ComfyUI/models/echo_mimic/ 目录下(包含带有pose.pth后缀和不带两个版本,可以一起下载)。下载地址为 :https://huggingface.co/BadToBest/EchoMimic/tree/main。
• stabilityai/sd-vae-ft-mse模型:下载sd-vae-ft-mse模型并放置在 /ComfyUI/models/vae/stabilityai/sd-vae-ft-mse 目录下。下载地址为 :https://huggingface.co/stabilityai/sd-vae-ft-mse/tree/main。
插件安装:
在插件安装中可能遇见的问题,请确保下面依赖版本。来自Issue:https://github.com/smthemex/ComfyUI_EchoMimic/issues/9
pip install moviepy==1.0.3pip install ffmpeg-python -U
目录结构:
工作流界面
这里需要注意如下:
- 1. 插件的Pose这是一个新功能,当前还处于开发中,需要关闭。
- 2. 调整参数length,否则会出现仅5秒的音频文件。length = 24(帧数)* 音频时间(秒)。
- 3. 不要用VH的音频合成,目前有bug,音频合成很慢,推荐直接save_vide保存结果。在 /ComfyUI/output 目录下。
- 4. 遇见问题可以提前查阅下issue:https://github.com/smthemex/ComfyUI_EchoMimic/issues/9