English | 简体中文

一个轻量化自动化视频处理流水线，用于识别和提取长视频（特别是口播和直播回放）中最精彩的片段。使用 AI 驱动的分析来发现亮点，生成剪辑，并添加标题和封面。

🎯 功能介绍

输入一个视频 URL 或本地文件，自动完成 下载 → 转录 → 分割 → AI 分析 → 剪辑生成 → 添加标题和封面 的全流程处理，输出最精彩片段。适合从长直播或视频中快速提取高光时刻。

💡 与 AutoClip 的区别？ 查看对比说明了解 OpenClip 的轻量级设计理念。

📢 最新动态

• 2026-04-23:
  • 新增后处理 Clip Editor：可对单个片段进行边界、字幕与封面标题的二次调整，并支持倍速重渲染
  • Streamlit 新增浏览器内 文件上传 入口，可直接上传本地视频并创建处理任务；支持局域网/共享机器模式
• 2026-04-19:
  • 新增 --deep-optimize / Streamlit「深度优化」模式：在候选片段汇总后增加一轮更深入的 AI 检查与边界修正，以提升片段边界质量和独立成段效果，详见开启 --deep-optimize 时
• 2026-04-04:
  • 新增 custom_openai 提供商，可在 Streamlit 或 CLI 中自定义 LLM Model 与 LLM Base URL，对接本地或自建 OpenAI 兼容接口
  • 新增 Paraformer 中文 ASR 支持，本地 ASR 会自动按语言路由，中文优先使用 Paraformer
• 2026-03-30:
  • 新增默认开启的剪辑边界修正，目标是让高光片段的开始和结束更自然，减少突兀截断
  • 在 Streamlit UI 中支持 Bilibili 多 P 视频一键创建任务、后台任务重试，以及重启后取消 pending 任务，感谢 @xenoamess
• 2026-03-25:
  • 新增 Cookie 使用建议 与更清晰的 Streamlit Cookie 模式；远程视频下载可按 不使用 cookies → 浏览器 cookies → Cookies 文件 的顺序尝试

🎬 演示

网页页面

Agent Skills

✨ 特性

• 灵活输入：支持 Bilibili、YouTube URL 或本地视频文件
• 智能转录：优先使用平台字幕；本地 ASR 会自动按语言路由，英文使用 Whisper，中文使用 Paraformer
• 说话人识别（预览版）：自动识别谁在说话，将真实姓名标注到字幕中，适合访谈、座谈、辩论和播客
• AI 分析：基于内容、互动和娱乐价值识别精彩时刻；支持 --user-intent 引导 AI 聚焦特定关注点
• 剪辑生成：提取最精彩时刻为独立视频剪辑，自动生成字幕文件、标题和封面图片
• 字幕烧录（可选）：将 SRT 字幕硬烧到视频画面中，可选通过当前选定的 LLM 提供商翻译成目标语言后烧录双语字幕
• 背景上下文：可选的添加背景信息（如主播姓名等）以获得更好的分析
• 三界面支持：Streamlit 网页界面，Agent Skills 和命令行界面，满足不同用户需求
• Agent Skills：内置 Claude Code 和 TRAE agent skill，用自然语言即可处理视频

📋 前置要求

手动安装

• uv（Python 包管理器）- 安装指南

• FFmpeg - 用于视频处理

  • macOS: brew install ffmpeg
  • Ubuntu: sudo apt install ffmpeg
  • Windows: 从 ffmpeg.org 下载
  需要双语字幕烧录？点击查看带 libass 的安装方式

  默认安装通常不包含 libass：

  • macOS: brew tap homebrew-ffmpeg/ffmpeg && brew install homebrew-ffmpeg/ffmpeg/ffmpeg（替换已有的 ffmpeg）
  • Ubuntu: sudo add-apt-repository ppa:savoury1/ffmpeg4 && sudo apt install ffmpeg
  • Windows: 从 gyan.dev 下载 full 版本

• LLM API Key / 接口配置（选择其一）

  • Qwen API Key - 从阿里云获取密钥（默认使用 qwen3.6-plus 模型）
  • OpenRouter API Key - 从OpenRouter获取密钥（默认使用 stepfun/step-3.5-flash:free 模型）
  • GLM API Key - 从智谱AI获取密钥（默认使用 glm-4.7 模型）
  • MiniMax API Key - 从MiniMax获取密钥（默认使用 MiniMax-M2.7 模型）
  • Custom OpenAI 兼容接口 - 需要可访问的 OpenAI-compatible chat completions 接口；需配置 CUSTOM_OPENAI_BASE_URL 和 CUSTOM_OPENAI_MODEL，CUSTOM_OPENAI_API_KEY 可选

• Chrome / Firefox / Edge / Safari 浏览器（可选）- 当你选择使用浏览器 Cookie 时，可用于远程视频下载身份验证

• Deno 或 Node（可选，YouTube 下载可能会需要）- 提升 YouTube 下载稳定性。OpenClip 会自动检测并使用；如果你主要处理 YouTube，尤其是需要 cookies 的情况，建议安装

  • 安装方式可参考 yt-dlp 官方 EJS 文档： Step 1: Install a supported JavaScript runtime

• HuggingFace Token (可选，用于说话人识别) - 从 huggingface.co/settings/tokens 获取，并接受 pyannote 模型协议

由 uv 自动管理

运行 uv sync 时会自动安装以下依赖：

• Python 3.11+ - 如果系统未安装，uv 会自动下载
• yt-dlp - 用于从 Bilibili、YouTube 等平台下载视频
• Whisper - 用于语音转文字
• 其他 Python 依赖（moviepy、streamlit 等）

可选 extra：

• uv sync --extra paraformer - 安装 Paraformer 中文本地 ASR 运行时依赖
• uv sync --extra speakers - 安装 WhisperX 说话人识别依赖

🚀 快速开始

1. 克隆和设置

# 克隆仓库
git clone https://github.com/linzzzzzz/openclip.git
cd openclip

# 使用 uv 安装依赖
uv sync

# 1) 安装 Paraformer 运行时依赖
uv sync --extra paraformer

# 2) 准备兼容的 Paraformer helper checkout
# 默认目录：
third_party/funasr-paraformer

mkdir -p third_party
git clone <funasr-paraformer-helper-repo> third_party/funasr-paraformer

export PARAFORMER_PROJECT_DIR=/path/to/funasr-paraformer

2. 设置 API 密钥（用于 AI 功能）

根据你选择的 LLM 提供商，设置对应的环境变量（至少配置一组）：

export QWEN_API_KEY=your_api_key_here        # 通义千问
export OPENROUTER_API_KEY=your_api_key_here   # OpenRouter
export GLM_API_KEY=your_api_key_here          # 智谱AI GLM (bigmodel.cn 国内端点)
export MINIMAX_API_KEY=your_api_key_here      # MiniMax (minimaxi.com 国内端点)
export CUSTOM_OPENAI_API_KEY=your_api_key_here # custom_openai，可选
export CUSTOM_OPENAI_BASE_URL=http://127.0.0.1:8000/v1
export CUSTOM_OPENAI_MODEL=Qwen/Qwen2.5-7B-Instruct

说明：

• custom_openai 适合对接 LM Studio、vLLM、One API、New API 等 OpenAI 兼容服务
• CUSTOM_OPENAI_BASE_URL 可以是 API 根路径（如 .../v1），也可以直接写完整的 /chat/completions 接口
• 如果你的兼容接口不要求 Bearer 鉴权，CUSTOM_OPENAI_API_KEY 可以留空
• Streamlit 侧边栏支持按提供商覆盖 LLM Model 和 LLM Base URL；CLI 对应参数为 --llm-model 和 --llm-base-url

3. 运行流水线

选项 A：使用 Streamlit 网页界面

启动 Streamlit 应用：

uv run python -m streamlit run streamlit_app.py

应用启动后，打开浏览器访问显示的 URL（通常是 http://localhost:8501）。

export OPENCLIP_EDITOR_BASE_URL=http://HOST_LAN_IP:8765
# 可选：显式指定编辑器服务监听地址与端口
export OPENCLIP_EDITOR_HOST=0.0.0.0
export OPENCLIP_EDITOR_PORT=8765

uv run python -m streamlit run streamlit_app.py --server.address 0.0.0.0 --server.port 8501

ipconfig getifaddr en0

使用流程：

1. 在侧边栏选择输入类型（视频 URL 或本地文件）
2. 配置处理选项（LLM 提供商、LLM Model、LLM Base URL、Cookie 模式等）
3. 点击「Process Video」按钮开始处理
4. 查看实时进度和最终结果
5. 在结果区域预览生成的剪辑和封面

如果选择 custom_openai，请在侧边栏填写 LLM Model 和 LLM Base URL；如果你的接口不需要鉴权，API Key 可以留空。

优势： 无需记住命令行参数，提供可视化操作界面，适合所有用户。

选项 B：使用 AI Agent 技能

如果你使用 Claude Code、TRAE、Cursor 或任何其他支持 skills 的 Agent，可以直接用自然语言处理视频，无需手动输入命令：

"帮我从这个视频里提取精彩片段：https://www.bilibili.com/video/BV1234567890"
"处理一下 ~/Downloads/livestream.mp4，用英语作为输出语言"

Agent 会自动完成环境配置、下载、转录、分析、剪辑和标题添加等全部流程。

选择安装方式：

技能定义位于 .claude/skills/video-clip-extractor/ 目录下。

选项 C：使用命令行界面

# 处理 Bilibili 视频
uv run python video_orchestrator.py "https://www.bilibili.com/video/BV1234567890"

# 处理 YouTube 视频
uv run python video_orchestrator.py "https://www.youtube.com/watch?v=dQw4w9WgXcQ"

# 处理本地视频
uv run python video_orchestrator.py "/path/to/video.mp4"

如需使用已有字幕，请将 .srt 文件放在同目录下，文件名保持一致（如 video.mp4 → video.srt）。

uv sync --extra speakers

export HUGGINGFACE_TOKEN=hf_your_token_here

uv run python tools/extract_reference.py VIDEO 起始时间 结束时间 "references/姓名.wav"

# 示例
uv run python tools/extract_reference.py interview.mp4 00:01:23 00:01:50 "references/Host.wav"
uv run python tools/extract_reference.py interview.mp4 00:03:10 00:03:40 "references/Guest.wav"

uv run python video_orchestrator.py --speaker-references references/ "VIDEO_URL_OR_PATH"

uv run python video_orchestrator.py --burn-subtitles "VIDEO_URL"

uv run python video_orchestrator.py \
  --burn-subtitles \
  --subtitle-translation "Simplified Chinese" \
  "VIDEO_URL"

🍪 Cookie 使用建议

远程视频下载有时会遇到登录验证、风控或平台限制。OpenClip 支持三种模式：

• 不使用 cookies：先尝试最简单的公开访问方式
• 浏览器 cookies：使用本机浏览器中的登录态
• Cookies 文件：使用导出的 Netscape 格式 cookies.txt

推荐尝试顺序：

1. 先试 不使用 cookies
2. 如果报登录、风控、not a bot、LOGIN_REQUIRED 等错误，再试 浏览器 cookies
3. 如果浏览器 cookies 仍不稳定，再试 Cookies 文件

YouTube 特别说明：

• 对于 YouTube，如果你使用 cookies，则很可能还需要安装 Deno 或 Node 这样的 JavaScript 运行时，否则可能只拿到不完整格式，甚至下载失败。安装说明可见前置要求

CLI 对应方式：

1. 不传任何 cookie 参数
2. 使用 --browser chrome（或你实际使用的浏览器）
3. 使用 --cookies /path/to/cookies.txt

注意：

• 仅在确实需要登录态访问内容时再使用 cookies，并尽量控制下载频率，或使用备用账号

导出 Cookies 文件：

• 如果你需要生成 cookies.txt，可参考 yt-dlp 官方教程： Exporting YouTube cookies
• 虽然教程标题写的是 YouTube，但在 OpenClip 中，导出的 Netscape 格式 cookies.txt 同样可用于 YouTube 和 Bilibili

📖 命令行参数

🔍 命令行示例

处理 Bilibili 视频，加载背景信息， 并使用霓虹风格处理Banner标题：

uv run python video_orchestrator.py \
  --title-style neon_glow \
  --use-background \
  "https://www.bilibili.com/video/BV1wT6GBBEPp"

仅分析，不生成剪辑：

uv run python video_orchestrator.py --skip-clips --skip-cover "VIDEO_URL"

说话人识别（预览版）：

uv run python video_orchestrator.py \
  --speaker-references references/ \
  "interview.mp4"

跳过下载，重新处理已有视频：

uv run python video_orchestrator.py --skip-download --title-style crystal_ice "VIDEO_URL"

使用自定义 OpenAI 兼容接口：

uv run python video_orchestrator.py \
  --llm-provider custom_openai \
  --llm-model Qwen/Qwen2.5-7B-Instruct \
  --llm-base-url http://127.0.0.1:8000/v1 \
  "VIDEO_URL"

📁 输出结构

处理后，输出目录结构如下：

processed_videos/{video_name}/
├── downloads/                # 原始视频、字幕和元数据
├── splits/                   # 分割片段和 AI 分析结果
├── clips/                    # 生成的精彩剪辑、字幕、摘要和封面图
│   ├── rank_01_xxx.mp4
│   ├── rank_01_xxx.srt
│   ├── engaging_moments_summary.md
│   └── cover_rank_01_xxx.jpg
└── clips_post_processed/     # 后处理剪辑（--add-titles 和/或 --burn-subtitles）
    ├── rank_01_xxx.mp4
    └── ...

🎨 自定义

添加背景信息

创建或编辑 prompts/background/background.md 以提供关于主播、昵称或重复主题的上下文：

# 背景信息

## 主播信息
- 主播：旭旭宝宝
- 昵称：宝哥
- 游戏：地下城与勇士（DNF）

## 常用术语
- 增幅：装备强化
- 鉴定：物品鉴定

然后使用 --use-background 标志：

uv run python video_orchestrator.py --use-background "VIDEO_URL"

自定义分析提示词

编辑 prompts/ 中的提示词模板：

• engaging_moments_part_requirement.md - 每个片段的分析标准
• engaging_moments_agg_requirement.md - 顶级时刻的汇总标准

用自然语言指定关注点

你也可以通过 --user-intent 告诉 OpenClip 你更想要哪类片段，例如：

• 关于 AI 风险的观点
• 最有争议的争论片段
• 适合短视频传播的高能时刻

这不会强制只输出某一类内容，但会影响候选片段的优先级与最终排序。

🔧 工作流程

OpenClip 会先找到候选高光片段，再生成字幕、剪辑、封面和可选后期处理。默认模式更快；开启 --deep-optimize 后，会增加额外的 AI 复审与边界优化流程，以换取更高的片段质量。

默认流程

输入（URL 或文件）
    ↓
下载/验证视频
    ↓
提取/生成转录
    ↓
检查时长 → 如果 >20 分钟则分割
    ↓
AI 分析（每个片段）
    ↓
汇总候选高光
    ↓
生成剪辑
    ↓
后期处理（可选）
  ├── 添加艺术标题 (--add-titles)
  └── 烧录字幕 (--burn-subtitles [--subtitle-translation LANG])
    ↓
生成封面图片
    ↓
输出完成

开启 --deep-optimize 时

在默认流程的“汇总候选高光”之后，会增加额外的 AI 复审阶段：

• 判断每个候选片段是否能独立成段
• 必要时尝试修复片段边界
• 对修复后的片段再次复审
• 再进入最终片段筛选与导出

默认流程
汇总候选高光
   ↓
生成剪辑

开启 --deep-optimize 后
汇总候选高光
   ↓
judge（独立成段复审）
   ↓
repair（必要时修复边界）
   ↓
rejudge（修复后复审）
   ↓
生成剪辑

这样通常能得到边界更自然、上下文更完整、更适合直接传播的片段。

代价与适用场景

• 代价是处理时间和 token 用量都会增加
• 以 60 分钟左右的视频为例，额外耗时通常约 3 到 6 分钟；token 用量的增幅取决于候选片段数量，以及是否触发修复与复审
• 如果更看重片段质量，建议开启
• 如果更看重速度和成本，可以保持关闭

📎 其他

🔄 与 AutoClip 的对比

OpenClip 受 AutoClip 启发，但采用不同设计理念：

OpenClip 特点： 轻量（5K行代码）、快速启动、提示词可定制、易于维护和二次开发

感谢 AutoClip 为视频自动化处理做出的贡献。

🤝 贡献

欢迎PRs！我们希望尽可能保持codebase的轻量化以及可读性：

改进方向

• 改进的 AI 分析提示词
• 性能优化
• 多模态分析
• 支持更多视频平台
• 额外的语言支持

📞 支持

如有问题或疑问：

1. 查看控制台输出中的错误消息
2. 先用短视频测试
3. 在 GitHub 上提出 issue
4. 加入我们的 Discord 社区 讨论交流

⭐ 喜欢这个项目？

如果这个项目对你有帮助，欢迎在 GitHub 上给我们一个 Star！⭐

你的支持是我们持续改进的动力！

📄 许可证

本项目采用 MIT 许可证 - 详见 LICENSE 文件