DSH Plugins Marketplace

DSH Plugins

Plugins

/

DSH-Video2Agent

H

DSH-Video2Agent

Discovered★ 4

Video search and understanding for DSH. Turn local files and Bilibili links into one library: search across videos, or read 3-10 together and compare their points. Optional Bilibili login for discover

English · 简体中文

Video2Agent — 让 AI Agent 看懂视频,DSH 插件 dsh-video2agent

CI License: Apache-2.0 Python 3.11+ DSH plugin Local-first

你的 Agent 浏览了无数网页
现在该让它看视频了

Video2Agent 让 AI Agent 看懂视频、直接回答。
B 站和本地视频都能问:讲了什么、哪条更好、值不值得看。

本地优先 · 云端 ASR/OCR 可选(任意 OpenAI 兼容服务商) · B 站扫码登录解锁 CC/AI 字幕

实测 · 快速开始 · 它能做什么 · 工作原理 · 文档 · 插件市场

真实 DSH 录制:视频输入、处理、回答
实录;等待部分已压缩。

1 找视频 → 2 处理 → 3 回答


更快、更全面、更省

一条视频:2m09s 做出 8 行速查表 + 6 张原片截图;走网页要 2m26s。信息源 4 类,纯文字只有 1 类;比视频大模型少 ~99% tokens。

更快、更全面、更省

Video-MME 排行

在 llm-stats 2026-11 的 Video-MME 全量榜(2,700 题)上,橙色那行是 Video2Agent* 87.8(4.1 Flash Max),与前沿模型同榜;* 表示 90 题子集。

Video-MME 全量排行与本插件 90 题子集

它能做什么

1. 检索网络视频

在 B 站按关键词找片,按 UP 主、发布时间筛选;也可以直接贴 BV、av 或 b23 链接,先看标题、封面、时长,再决定要不要处理。

2. 批量处理视频

本地文件或链接都能处理:先读视频信息,再走 CC/AI 字幕或 ASR,切镜头、抽取关键画面、做 OCR,最后把转写、画面文字、场景和关键画面存到本地。一次一批 1–10 条;之后问答、对比、整理都直接查这份内容,长视频也不用整段重看。

3. 获得全面视频理解

插件给出的不只是转写,而是转写、画面文字、场景结构、关键画面和运动信息。Agent 可以据此回答视频里的问题、比较多条视频,或者把内容整理成步骤、结论和可用的建议。

  • 长电影、长课程:先看结构和关键内容,再决定要不要深入,不用从头看到尾。
  • UI 动效、操作录屏:看切镜、运动和界面变化,帮开发定位交互、动效和实现问题。
  • 教程、评测、访谈:把步骤、参数、观点和结论抽出来,多条视频放在一起对比。

4. 管理 B 站收藏夹

扫码登录后,能看收藏夹、历史、文件夹,统计时长、UP 主和未看完,按 UP 主生成分类草案。DSH 里的 account 工具只读;真正整理文件夹、批量分类,回 CLI 加 --confirm 才动手,Cookie 只留在本地。

本地、云端与账号

  • 默认全本地。 转写优先用视频自带字幕(CC/AI),没有字幕时才走本地 Whisper;ASR 模型不随包分发、也不会自动下载,需要时用 video2agent models download(small 约 464 MB)或在设置里连接云端 ASR。画面文字(RapidOCR)、场景切分和抽帧都在本机跑,视频文件不出机器;不需要 GPU,不需要 API Key。
  • 云端可选。 设置页可以接入任意 OpenAI 兼容的 ASR/OCR 服务商(内置默认服务商,有免费额度):转写只上传音频,云端 OCR 只读你点名时刻的画帧,不会把整批抽帧发给付费图像模型。Key 用 Windows DPAPI 加密存在本机,不写进配置、argv、日志或接口响应。
  • B 站登录可选。 扫码登录后解锁 CC/AI 字幕(匿名请求拿不到字幕列表)、按 UP 主/发布时间筛选候选,以及收藏夹、历史、文件夹的读取与分类草案。Cookie 只留在 ~/.video2agent/cookies/;account 工具只读,改文件夹/批量分类要回 CLI 加 --confirm。

快速开始

环境: Python 3.11+、FFmpeg(在 PATH 中),以及 DSH(用插件界面时需要)。 从插件市场安装的只是 DSH 集成层:实际处理视频还需要 CLI 和 FFmpeg。安装后打开插件设置页的「环境检查」,缺什么可以一键安装(CLI 走 pip,FFmpeg 走 winget/brew),也可以手动 pip install video2agent(FFmpeg 缺失时先 winget install Gyan.FFmpeg / brew install ffmpeg / apt install ffmpeg,或设置 FFMPEG_BIN)。 视频没有字幕时,才需要语音模型(small 约 464 MB,不会自动下载,用 video2agent models download 显式安装)。 本地画面文字 OCR 是可选额外包:pip install "video2agent[ocr]"(需要 Python 3.11/3.12;核心检索/转写/取帧不需要它,云端 OCR 也不需要)。

各平台密钥存储:Windows 用 DPAPI,macOS 用登录钥匙串(Keychain),Linux 用 $VIDEO2AGENT_HOME/secrets/cloud.key(0600);任何平台都可以改用 SILICONFLOW_API_KEY 环境变量。

已发布到 PyPI 和 npm,可以直接安装:

pip install video2agent
dsh plugin --profile web add dsh-video2agent

想用源码或参与开发,走下面的克隆方式。

git clone https://github.com/Harm0ny-AI/DSH-Video2Agent.git
cd DSH-Video2Agent

python -m venv .venv
# Windows: .venv\Scripts\activate    macOS/Linux: source .venv/bin/activate
pip install -e .

video2agent setup          # 把 Skill 安装到 ~/.dsh/skills
video2agent doctor
video2agent ingest ./your-video.mp4      # 或 B 站链接
video2agent list
video2agent search "what you remember"

从当前仓库安装 DSH 插件:

dsh plugin --profile web add ./packages/dsh-video2agent

然后重启或重新加载 DSH。插件会注册 video2agent 工具和 /video 命令;video2agent setup 装好的 Skill 会告诉模型先调什么、引用怎么写。

工作原理

sequenceDiagram
  autonumber
  participant A as Agent
  participant V as video2agent
  participant D as SQLite + FTS5
  Note over V: 先把视频入库:探测 → 字幕/ASR → 场景 → 采样帧 → OCR → 视觉片段
  A->>V: search / digest / transcript
  V->>D: 查 FTS5 和已入库片段
  D-->>V: 文字结果
  V-->>A: 文字 + 时间码
  opt 需要核对时
    A->>V: evidence / frames
    V->>V: 取同一时刻的画面 + OCR/转写
    V-->>A: 画面 + 文字 + 时间码
  end
  A-->>A: 带引用的回答

设计规则

  • 先文字,后画面。 搜索只返回文字;只有需要核对某句话时,evidence 才取图,而且图和文字一定来自同一帧。
  • 边界明确,不把未知当零。 时间码超过视频结尾,会直接报错并给出处理建议;OCR 读取失败就是“未知”,不是“没有文字”;没读过的 OCR 保持 pending/partial/failed,绝不写成 0。
  • 默认本地处理,但不等于离线。 本地 ASR/OCR 都在这台机器上跑;evidence 取到的画面和文字会交给宿主模型,所以用云端模型时,它们会离开本机。云端 ASR/OCR 可以单独开启,用你自己的服务商密钥;设置页会写清楚哪些内容会发出去。
  • 上下文有上限。 digest/transcript 都是紧凑格式,图片有预算,读取有缓存,查得再久也不会把上下文塞满。

截图

DSH 插件批量任务设置
输入框预览批量任务表设置页

深色社交分享图和插件市场卡片在 docs/assets/。

文档

状态

  • 0.2.0 已发布(2026-11-17)。 CLI、Skill 和 DSH 插件均可用,从 PyPI 或 npm 安装;0.1.3 把设置页「环境检查」收成一行状态胶囊(缺依赖时才展开安装按钮),修复 perceive/video2agent doctor 不认 FFMPEG_BIN/FFPROBE_BIN 的问题,并更新插件页安装说明;0.1.2 加入了「环境检查 + 一键安装」,0.1.1 修了「读到结尾被报错」「毫秒参数被当成秒」「中文被识别成日语」「进度环标错行」和「单次等待过长被杀」。`
  • 默认在本地跑,不需要 GPU;云端可选。
  • 已发布到 PyPI 和 npm:pip install video2agent、npm i dsh-video2agent;插件市场条目已按 awesome 列表格式准备好。
  • 已知限制:单字中文搜索、小字/低对比度文字的 OCR、跨镜头计数。

插件市场

原生 DSH 插件(dsh.bundle → cordis.patch.yml),已经按 awesome-dsh-plugin 的格式准备好条目。

  • 分类:vision
  • 安装入口:video2agent 工具 + /video 命令;CLI 是同一套引擎。

参与贡献

欢迎提交 Issue 和 PR。先看 CONTRIBUTING.md;改代码后请运行:

python -m unittest discover -s tests -q
ruff check src tests --select E,F,I --ignore E501
node tests/test_plugin_card.mjs
node tests/test_plugin_manifest.mjs
node tests/test_plugin_host_settings.mjs
node tests/test_plugin_campaign.mjs
node tests/test_plugin_dock_state.mjs

使用与内容权利

本项目是一个本地运行的工具:不托管、不缓存、不分发任何视频内容,也不提供公开的视频下载服务。请只处理你有权访问和使用的内容。通过平台链接下载视频、保存转写与截图可能受平台服务条款和著作权法约束,这些内容的合法使用由使用者自行负责;请勿用于批量抓取、镜像传播或商业再分发。发现侵权或滥用,请按 SECURITY.md 的方式私下联系。

许可证

Apache-2.0。第三方声明见 THIRD_PARTY_LICENSES.md。

如果它帮你少拖了一次进度条,点个 ⭐ 能让更多 Agent 找到它。

Comments

Loading…

Similar plugins

dsh-video-digest

by hunyu-feng

DSH plugin: turn a video link (Bilibili / YouTube / any page) into a transcript-backed summary, and say plainly what evidence it used.

Manifest valid

★ 0

MIT

JavaScript

Oct 22, 2026

dsh plugin --profile web add dsh-video-digest

by icyaaaww

DSH Bilibili video understanding plugin: timestamped frames, local ASR/OCR, and optional independent vision model.

Development & InfrastructureManifest valid

★ 10

MIT

Python

Oct 23, 2026

dsh plugin --profile web add bili-vision

by moxingovo

DeepSeek Harness plugin: Bilibili video search, metadata, and subtitle transcripts (bilibili_search / bilibili_video / bilibili_subtitles) · DeepSeek Harness 插件:B 站视频检索、元数据与字幕文稿,匿名可用,可选 SESSDATA 解锁登录字幕

Tools & CapabilitiesManifest valid

★ 5

↓ 691/wk

MIT

TypeScript

Sep 30, 2026

dsh plugin --profile web add dsh-plugin-bilibili

by CZX2244

Bilibili video analysis: metadata, transcript (ASR fallback via Bijian/sherpa-onnx/whisper.cpp), comments, danmaku, and sharp keyframes with optional local vision descriptions.

Tools & CapabilitiesManifest valid

★ 17

↓ 16/wk

MIT

JavaScript

Oct 23, 2026

dsh plugin --profile web add dsh-bilibili

by Sacredbluedragon

Reads Bilibili video content as text for DSH agents: metadata, subtitles, ASR, frame OCR, comments and danmaku. Frame OCR needs ffmpeg; the ASR/OCR venvs need Python 3.10+; AI subtitles need a Bilibil

Tools & CapabilitiesManifest valid

★ 18

↓ 3.7k/wk

MIT

JavaScript

Nov 15, 2026

dsh plugin --profile web add dsh-bili-watch

by Aurum807

DSH 插件:发 B 站(或任意 yt-dlp 支持的站点)视频链接时自动准备可总结素材(转写 + 关键帧接触印相纸),并按方法论产出总结

Tools & CapabilitiesDevelopment & InfrastructureManifest valid

★ 4

MIT

JavaScript

Nov 4, 2026

dsh plugin --profile web add dsh-bilibili-video-summary