蜜桃av色欲a片精品一区,麻豆aⅴ精品无码一区二区,亚洲人成网站在线播放影院在线,亚洲 素人 字幕 在线 最新

  EchoMimic V2，從數(shù)字臉到數(shù)字人，輸入圖+音頻+手勢(shì)即可！

發(fā)布日期：2024/11/27 11:49:37      瀏覽量：

阿里巴巴開源了數(shù)字人技術(shù)：EchoMimic，可用于虛擬主播、視頻編輯等

效果比SadTalker、MuseTalk好，表情更豐富動(dòng)作更順暢

EchoMimic是一個(gè)基于音頻驅(qū)動(dòng)的肖像動(dòng)畫生成工具，通過可編輯的特征點(diǎn)條件生成逼真、自然的動(dòng)畫，用戶可以根據(jù)自己的需求調(diào)整動(dòng)畫細(xì)節(jié)

功能

1、音頻驅(qū)動(dòng)動(dòng)畫，可以根據(jù)音頻生成人物肖像的動(dòng)畫，比如唱歌、說話視頻等

2、姿勢(shì)驅(qū)動(dòng)動(dòng)畫，可以根據(jù)姿勢(shì)數(shù)據(jù)生成人物肖像的動(dòng)畫

3、音頻和姿勢(shì)混合驅(qū)動(dòng)動(dòng)畫，可以同時(shí)使用音頻和姿勢(shì)數(shù)據(jù)來生成動(dòng)畫

4、WebUI 和 GradioUI，提供圖形界面，易于使用

安裝

下載代碼

git clone https://github.com/antgroup/echomimic_v2cd echomimic_v2

Python環(huán)境設(shè)置

• 測(cè)試的系統(tǒng)環(huán)境：Centos 7.2/Ubuntu 22.04，Cuda >= 11.7

• 測(cè)試的GPU：A100(80G) / RTX4090D (24G) / V100(16G)

• 測(cè)試的Python版本：3.8 / 3.10 / 3.11

創(chuàng)建conda環(huán)境（推薦）：

 conda create -n echomimic python=3.10 conda activate echomimic

使用pip安裝軟件包

pip install pip -U 
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124 
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124 
pip install -r requirements.txt 
pip install --no-deps facenet_pytorch==2.6.0

下載 ffmpeg-static

下載并解壓ffmpeg-static ，然后

export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static

下載預(yù)訓(xùn)練權(quán)重

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights

pretrained_weights的組織方式如下。

• 
  

./pretrained_weights/├── denoising_unet.pth├── reference_unet.pth├── motion_module.pth├── pose_encoder.pth├── sd-vae-ft-mse│   └── ...├── sd-image-variations-diffusers│   └── ...└── audio_processor└── tiny.pt

其中enoising_unet.pth /reference_unet.pth /motion_module.pth /pose_encoder.pth是EchoMimic的主要檢查點(diǎn)。該中心的其他模型也可以從其原始中心下載，這要?dú)w功于他們的精彩作品：

演示推理

運(yùn)行g(shù)radio：

python app.py

切片數(shù)據(jù)集：

bash ./EMTD_dataset/slice.sh

處理數(shù)據(jù)集：

python ./EMTD_dataset/preprocess.py

項(xiàng)目鏈接

https://github.com/antgroup/echomimic_v2