ToonCrafter

ToonCrafter 是香港中文大学(CUHK)与腾讯 AI Lab 联合开源的「生成式卡通插值」模型,被 SIGGRAPH Asia 2024 Journal Track 接收,论文发表于 ACM Transactions on Graphics(TOG)。它针对的是动画师 / 分镜师长期以来的痛点:在两张关键帧之间手工补上几十张中间帧,既耗时又难保证运动一致。ToonCrafter 把预训练好的图像到视频扩散模型(Image-to-Video Diffusion Prior)重新用于卡通域,通过稀疏草图引导与参考图上色,使任意两张风格相似的草图或卡通帧之间自动生成连贯的中间帧视频。

核心能力分两类应用场景。第一类是「卡通关键帧插值」:输入起始帧与结束帧(512×320 分辨率),模型直接生成 16 帧以内的连续动画;第二类是「稀疏草图引导」:除了首尾帧,还可以输入一条或多条中间稀疏草图作为运动提示,精准控制角色走向与动作幅度;第三类是「参考图上色」:输入一张线稿 + 一张参考图,模型可自动把线稿序列化为带配色的动画。模型权重开源在 Hugging Face(Doubiiu/ToonCrafter),社区亦有 kijai 提供的 fp16 剪枝版本(12GB 显存即可跑)。

适用场景包括:动画短片关键帧补间、漫画 / Storyboard 快速预览运动效果、风格化短视频中间帧生成、定格动画师提效工具。需要注意的是,作者明确声明这是一个「开源研究探索」而非商业产品,成功率不保证(README §📢 Disclaimer 原话);官方没有任何盈利项目或 Web 应用,提防冒名顶替的克隆网站。

部署依赖 Python 3.8.5 + Anaconda 环境,推理显存需求约 24GB(A100 上 50 步 DDIM 单次约 24 秒),社区已把显存压到 10GB 级别。提供命令行(sh scripts/run.sh)与本地 Gradio Demo(python gradio_app.py)两种用法。License 为 Apache-2.0,目前 GitHub 6k+ Star、500+ Fork。注意:项目已于 2025-03-19 停止主仓频繁迭代,后续工作以论文引用与社区 wrapper 为主。