GeneFace++ 软件需求清单
一 运行环境与依赖
- 操作系统与基础工具:支持 Linux(如 CentOS);需安装 git、cmake、python3、python3-devel 及常用图像库(如 libpng-devel、libjpeg-devel、libtiff-devel)。建议使用 conda/venv 创建隔离环境。
- Python 版本:建议 Python 3.9+;项目在 Python 3.7 环境下也有成功安装记录(以实际环境兼容为准)。
- Python 依赖管理:在项目根目录执行 pip install -r requirements.txt 安装所需 Python 包。
- 环境变量:运行前设置 PYTHONPATH,例如 export PYTHONPATH=$(pwd):$PYTHONPATH。
- 可选容器化:提供 Docker 安装与多版本镜像(如 Dockerfile.cu118.torch2.0.1.py39),便于快速部署与复现实验。
二 关键数据、模型与目录结构
- 3DMM 模型文件:下载并放置于 deep_3drecon/BFM。
- 预处理数据集:下载 May 数据集的二进制文件 data/binary/videos/May/trainval_dataset.npy。
- 预训练模型:
- 音频到动作:audio2motion_vae.zip,解压至 ./checkpoints/audio2motion_vae。
- 动作到视频(NeRF,May 专属):motion2video_nerf.zip,解压后包含 may_head 与 may_torso,置于 ./checkpoints/motion2video_nerf/。
- 目录规范(示例):
- checkpoints/
- audio2motion_vae/
- motion2video_nerf/
- may_head
- may_torso
- data/
- binary/
- videos/
- May/
- trainval_dataset.npy
三 运行方式与接口
- 命令行推理:
- 示例:
- export PYTHONPATH=$(pwd):$PYTHONPATH
- python inference/genefacepp_infer.py --a2m_ckpt checkpoints/audio2motion_vae --head_ckpt checkpoints/motion2video_nerf/may_head --torso_ckpt checkpoints/motion2video_nerf/may_torso --drv_aud data/raw/val_wavs/MacronSpeech.wav --out_name may_demo.mp4
- WebUI:
- 启动:python inference/app_genefacepp.py(同样需正确设置 PYTHONPATH 与模型路径)。
四 训练与数据准备相关需求
- 自定义训练流程:参考仓库文档 docs/process_data 与 docs/train_and_infer。
- 数据要求:训练视频中头部区域应占据较大比例,以保证重建与驱动的稳定性与质量。
五 硬件与系统建议(影响软件可用性)
- GPU 与驱动:需 NVIDIA GPU 并配置 CUDA;推理可用 RTX 3060 12GB 等消费级显卡;训练推荐 RTX 4060 16GB 及以上。
- 处理器与内存:CPU ≥2GHz 双核(推荐 Intel Core i5 / AMD Ryzen 5 及以上);内存 ≥8GB(推荐 16GB+)。
- 存储与网络:可用磁盘空间 ≥50GB;需稳定网络以下载 3DMM、数据集与预训练权重。