LivePortrait

LivePortrait 是快手 KwaiVGI 团队发布的开源肖像动画项目,2024 年 7 月首次公开,Apache-2.0 商业可用协议,GitHub 主语言 Python (PyTorch)。输入源人像 + 驱动视频(表情/头部动作参考),生成高保真肖像动画;在五官表情迁移精度、头部姿态自然度、眼睛注视方向等细节上显著优于 SadTalker / First Order Motion 等前代方案。ComfyUI 节点生态成熟。

核心能力围绕「高保真表情/姿态迁移 + 实用化部署」展开。模型架构 通过隐式关键点(implicit keypoints)+ MLP 混合变形(mixed deformation)+ 外观特征提取三阶段,先从源图与驱动图提取关键点 + 外观,再用 MLP 预测关键点对应的运动场,最后由解码器生成目标帧。输入 源人像(单张 JPG/PNG)+ 驱动视频(任意人物表情/动作参考)+ 可选编辑模板(eye-close / mouth-open / head-pose 等);支持 animals(动物肖像,需 animal 模型)、stylization(风格化驱动)扩展。输出 MP4 视频 25-30 FPS;可选 512x512 / 高清档位。生态 ComfyUI-LivePortraitKJ 节点;Gradio Demo;Windows / Linux / macOS 全平台;推理支持 PyTorch + TensorRT(快 5-10x)+ NCNN 移植版;LivePortrait-Editor 提供精细编辑控件。

适用场景:数字人头像动画(企业宣传 / 直播 / 短视频)、影视后期人物动作迁移(配合 DeepFaceLab 等换脸项目)、电商虚拟主播、视频会议实时换脸背景、教育课件角色化。硬件门槛:CPU 可跑 demo(慢),推荐 NVIDIA GPU(6GB+ VRAM);TensorRT 加速后实时性能达 30 FPS。上手路径:git clone → 下载预训练权重 → python inference.py -s source.jpg -d driving.mp4 -o output.mp4;ComfyUI 用户安装 ComfyUI-LivePortraitKJ 节点即可拖拽使用。

License 为 Apache-2.0,商业可用 + 专利授权 + 商标免责;论文要求引用 LivePortrait: Efficient Portrait Animation with Implicit Structural Motion Priors (arXiv 2407.03168)。LivePortrait 与 VisLane 已收录的 HeyGen(商业数字人)、待收录的 SadTalker(同源开源)定位关系:SadTalker 是「音频驱动」(音频→人脸动画),LivePortrait 是「视频驱动」(参考视频→人脸动画);两者结合可实现「音频 + 姿态协同」的高质量数字人(音频控制嘴型,视频控制头部姿态),LivePortrait 当前是开源肖像动画的事实标准;若仅需音频驱动,选 SadTalker 更轻量。