Real-ESRGAN

Real-ESRGAN 是 xinntao 团队维护的开源通用图像 / 视频超分辨率项目,2021 年首次公开,BSD-3-Clause 宽松协议,GitHub 主语言 Python (PyTorch)。模型与算法被广泛复用,是当前开源超分的事实标准;VisLane 已收录的 Upscayl 是其 GUI 桌面应用版,二者技术内核共享。提供 realesrgan-x4plus / realesrgan-x4plus-anime / realesr-general-x4v3 等多个模型变体,针对通用照片、动漫、3D 渲染图、人像做差异化调优。

核心能力围绕「多退化场景超分 + 实用化」展开。模型族 realesrgan-x4plus(通用照片 x4,基础)、realesrgan-x4plus-anime(动漫插画 x4,纹理保护)、realesr-general-x4v3(Real-ESR General v3,带轻量人脸修复与人脸细节增强),可选 realesr-animevideov3(视频超分 + 时序一致性)。退化建模 训练时模拟真实世界的多种退化(高斯噪声 / 压缩 / 模糊 / 下采样 / JPEG 压缩),而非纯 bicubic 下采样 — 这是 Real-ESRGAN 对比 ESRGAN 原版的关键改进,真实照片恢复效果显著优于学术数据集训练。推理 支持 PyTorch / NCNN / ONNX Runtime,CPU / NVIDIA GPU / AMD GPU / Apple Silicon 全平台;x4 上采样 1024x1024 在 GPU 上 ~1-2 秒。生态 NCNN 移植版可嵌入式部署(Mi 11 Pro 内置 AI 超分即基于 Real-ESRGAN NCNN);ComfyUI 节点 ComfyUI-Real-ESRGAN-Upscaler;Stable Diffusion WebUI / A1111 / Forge 内置 upscale 脚本。

适用场景:老照片 / 旧视频画质提升、SD / Flux 生成图二次放大(消除 AI 模糊感)、电商商品图放大、视频后期 4K 升档、动漫 / 插画超清化。硬件门槛:CPU 可跑(很慢),推荐 NVIDIA GPU(4GB+ VRAM);NCNN 移植版可在树莓派等嵌入式跑(但慢);FP16 半精度可降显存。上手路径:pip install realesrgan → python inference_realesrgan.py -n RealESRGAN_x4plus -i input.jpg -o output.png;ComfyUI 用户拖入 Upscaler 节点;Upscayl GUI 适合非技术用户。

License 为 BSD-3-Clause(宽松开源),允许商业闭源使用、修改、再分发,只需保留版权声明;不要求衍生作品开源 — 这是相对 AGPL-3.0(GPL-3.0 同级)与 GPL-3.0 类超分项目的协议友好性差异。Real-ESRGAN 与 VisLane 已收录的 Upscayl(同样是 xinntao 出品,跨平台 GUI)、Magnific(商业 AI 放大)定位关系:Real-ESRGAN 是「命令行 / API 级内核」,Upscayl 是其 GUI 桌面封装,Magnific 是「创意级重绘超分」(增加细节但偏离原图,商业闭源);三者在不同使用场景互补 — 真实场景用 Real-ESRGAN,追求极致画质用 Magnific。