CogVideoX

CogVideoX 是由清华大学 THUDM 实验室（智谱 AI 联合发起方）开源的文本到视频与图像到视频生成模型系列，前身为 2022 年 5 月开源的 CogVideo（ICLR 2023，首个开源的大型 Transformer 架构文生视频模型）。CogVideoX 系列于 2024 年起逐步发布 2B / 5B / 1.5 系列规格，配套 CogKit 微调与推理框架，是中文世界最重要的开源视频生成模型之一。仓库现已被迁移到 zai-org/CogVideo（zai-org 是智谱 AI 关联组织），但 THUDM/CogVideo 路径仍可访问且持续收到 release。

核心能力围绕「Transformer + 3D Causal VAE + 多任务统一」展开。模型族包含：CogVideoX-2B（首版开源，最小显存门槛）、CogVideoX-5B（2024 年 8 月开源的更大模型，推理优化后可在 RTX 3060 桌面级 GPU 上运行）、CogVideoX-5B-I2V（2024 年 9 月开源的图像到视频模型，以图为背景 + prompt 控制视频内容）、CogVideoX1.5-5B（2024 年 11 月开源的 1.5 代升级，支持 10 秒视频、更高分辨率）、CogVideoX1.5-5B-I2V（任意分辨率的图生视频）。架构组件：自研 3D Causal VAE（用于视频潜空间压缩，几乎无损重构视频）；Expert Transformer（主干网络，含文本、时间、空间三维注意力）；DDIM Inverse（2025 年 2 月起在 5B 与 1.5-5B 中支持）。任务覆盖：文本到视频、视频续写（video continuation）、图像到视频三类。生态工具：配套的 CogKit（2025 年 3 月开源）是 CogView4 与 CogVideoX 系列的微调与推理框架；cogvideox-factory（社区 a-r-r-o-w 维护）是单 4090 GPU 的低成本微调方案。提示词子工具：CogVLM2-Caption（在训练中把视频转写为文本描述的 caption 模型，2024 年 9 月开源）。

适用场景覆盖：影视 / 短视频团队做 AI 视频概念片与分镜草图、电商团队做产品图旋转视频（I2V 路径）、动画 / 漫剧团队做角色一致性短片（A2 周边生态补足）、AI 视频研究者做可控生成实验（多尺寸多任务统一）、商业团队做品牌素材批量生成（Apache-2.0 可商用）。硬件门槛：CogVideoX-2B 可在 GTX 1080Ti / RTX 3060 等老显卡上运行；CogVideoX-5B 推荐桌面级 RTX 3060+ / 4090；完整 SAT 版（最新权重）需要多卡环境；diffusers 集成路径对消费级显卡更友好。部署形态：本地克隆 + conda + pip install -r requirements.txt（SAT 版与 diffusers 版代码并存）；通过 HuggingFace Spaces / ModelScope Studio 在线体验（5B 模型）；通过 智谱清影（chatglm.cn/video）与 BigModel 开放平台（open.bigmodel.cn）接入更高规格的商用版本。中文支持：仓库提供独立的中文 README（README_zh.md），模型对中文 prompt 有原生训练数据支持。

License 为 Apache-2.0（2024 年 8 月起 2B 模型改为 Apache-2.0，先前版本协议以官方公告为准）；商用无需特殊许可，是目前少数商用友好的开源视频生成模型之一。重要提醒：仓库 GitHub API 已迁移到 zai-org/CogVideo，但 THUDM/CogVideo 路径仍保留完整 README / release / issue 跟踪；本 tool.json 的 github_url 沿用仓库 README 内自引用的 THUDM/CogVideo 路径。长尾维护：仓库主分支自 2025 年 11 月 4 日后无新 push，模型迭代转至 HuggingFace 上的新版本（如 CogVideoX 2 系列）与清影 / BigModel API。