gallery-dl

gallery-dl 是 mikf 维护的开源命令行图像 / 图集 / 漫画下载器,2014 年首发,GPL-2.0 copyleft 协议,GitHub 主语言 Python。覆盖 Pixiv、Danbooru、Twitter/X、Instagram、DeviantArt、Flickr、Reddit、Tumblr、NicoNico、Twitter、Nijie、Konachan、Yandere、e-hentai 等 200+ 站点,自动归档用户上传 / 收藏夹 / 图集 / 标签搜索结果;yt-dlp 在图像领域的对位工具,定位「图像版的 yt-dlp」。

核心能力围绕「可编程批量图集采集」展开。站点模块 每个支持的站点一个独立 extractor,内部抽取元数据(标题、上传者、tags、日期、分辨率、文件大小)+ 主文件 URL,统一为 metadata.json + 原始资源下载。目录模板 支持 Python format string 自定义(如 {category}/{id}_{title}.{extension} 或 {user[name]}/{id}),按用户/标签/日期自动组织。过滤与去重 通过 --filter / --simulate / --download-archive 实现去重增量抓取,支持 XPath / JSON path 提取页面元素,适合做数据集准备与版本化存档。配置 gallery-dl.conf 支持按站点 / 按用户的 OAuth 鉴权(Pixiv、Twitter)、HTTP 代理、限速、并发、archive 模式、断点续传。元数据扩展 可通过 --write-metadata 导出 JSON / SQLite 数据库,便于后续用 Python 脚本构建数据集索引。

适用场景:AI 图像训练数据准备(Pixiv / Danbooru 等图站的批量合规抓取)、二次创作参考图集归档、研究者数据集准备(配合 dataset-tools)、收藏家个人图库备份。硬件门槛:CLI 工具,单核 CPU + 几 MB 内存即可,需 Python 3.6+;多线程下载受限于目标站点。上手路径:pip install gallery-dl → 配置 ~/.gallery-dl.conf(OAuth 鉴权)→ gallery-dl https://pixiv.net/users/12345;站点模块文档详尽,各站配置示例在 conf dir 内。

License 为 GPL-2.0(copyleft),商业闭源产品若 link gallery-dl 的代码,需公开衍生源码;作为命令行工具独立使用无 copyleft 传染。gallery-dl 是公认的「图像版 yt-dlp」,与 yt-dlp 共享「按站点 extractor + 元数据 + 归档」的设计哲学,但专注于图像与图集领域;若需视频+音频+图像三合一,搭配 yt-dlp 是更完整的方案。注意:gallery-dl 不存储任何下载内容,也不代理版权判断;用户需自行遵守目标平台 ToS 与所在司法辖区版权法。