DSH Plugins Marketplace

DSH Plugins

Plugins

/

video-understanding-kit

y

video-understanding-kit

Discovered★ 4

DSH专用,这个工具不同于传统的AI理解视频流程(定时切帧-切出的帧猜测上下文),而是以1-12FPS一帧来尽可能获取视频的内容,再以网格的形式存入每一帧;网格使用预训练模型进行分组(相同的场景/内容会尽可能在一个网格大组中),这样你的AI在使用了这个插件/工具后能够更好的形容看到的视频,并且可以减少token消耗

Video Understanding Kit

把视频整理成可浏览、可回查的视觉材料:带时间戳的采样帧、镜头时间线、六格网格页、字幕图像条带,以及可选的语音转写和软字幕轨提取。

项目由命令行核心流水线和 DSH 插件目录组成。核心负责本地视频处理;它不运行 OCR,也不会自行把硬字幕识别成文本。硬字幕会以图像条带的形式贴到增强页,供后续读图模型查看。决策背景见 ADR-0019。

采样、镜头边界和去重都是导航与减量手段,不能证明原视频没有遗漏。关键画面、数字和台词应回看原帧或原音频。

工作流程

Video Understanding Kit 并行处理流程

输入视频
  └─ 元信息、基础帧与帧差
       ├─ TransNetV2 镜头边界(worker;高负载或串行模式时回到主线程)
       └─ 可选 ASR / 候选台词 + 可选内嵌软字幕
                    ↓ 汇合
补充取帧 → 预算采样 → 帧级去重 → 镜头分组 → 六格网格页
                                      ├─ 字幕带图像差分定位 → 切条、去重、贴到页底
                                      └─ 页级去重
                    ↓
          index.json、pages.json、网格与增强页

TransNet worker 与主线程上的 ASR/字幕处理可以并行运行;温度过高或指定 --serial 时,镜头检测改为串行。字幕条带由图像差分定位,不依赖 OCR 检测框。条带只保留画面,不会自动产生字幕文本。

核心处理

采样与时间线

默认基础帧率按视频时长分档:最长 10 秒为 12 fps,11–20 秒为 6 fps,21–30 秒为 4 fps,31–40 秒为 3 fps,41–60 秒为 2 fps,超过 60 秒为 1 fps。可用 --base-fps 指定固定帧率。

默认不限制页数。设置 DSH_FRAME_BUDGET 后,采样器会在预算内选择时间覆盖帧,并在 samplingBudget 中记录是否满足最大间隔要求。预算不足会如实报告。

帧差与 TransNetV2 分别提供变化候选和镜头边界;两者用于组织时间线,不代表语义场景或动作结论。

网格和两级去重

每页最多 6 帧(2×3),每格保留时间戳和源帧 ID。组级导航拼图按页分批生成。

去重分两级:

  1. 帧级:运动门控、pHash 与条件性 SSIM,在分组拼页前去掉明显重复帧;FRAME_DEDUP=0 可关闭。
  2. 页级:先比较整页和局部区域,再按格位检查覆盖关系。无法确定时保留页面。

被合并的代表关系和去重统计写入索引。去重只减少重复展示,不代表内容无关。

字幕与语音

  • 硬字幕:不运行 OCR。字幕带探测器从视频帧的逐行变化中寻找位置稳定、变化频繁的区域;随后按页裁成图像条带并贴到增强页。条带可能误取画面纹理,也可能漏掉不固定位置的文字。
  • 软字幕:传入 --subs 时提取视频内嵌的文字字幕轨;没有兼容字幕轨时不会转成硬字幕 OCR。
  • 语音:传入 --asr 时使用本地 sherpa-onnx Paraformer 识别音轨,产物写入 audio/。识别文本仍可能漏字或错字。

核心流水线提供供模型阅读的图像和结构化定位信息;硬字幕文本需要读图模型另行读取,不是流水线自动生成的 OCR 结果。

命令行

要求 Node.js 20+、pnpm、FFmpeg 和 ImageMagick。

pnpm install
pnpm run models
node pipeline.mjs --video video.mp4 --out out
node pipeline.mjs --video video.mp4 --out out --subs
node pipeline.mjs --video video.mp4 --out out --asr
node pipeline.mjs --video video.mp4 --out out --serial
node serve-preview.mjs out
参数默认值说明
--video必填输入视频
--outout输出目录;非空目录需显式传 --force
--base-fps自动固定基础采样率;省略时按视频时长分档
--subs关闭提取兼容的内嵌软字幕轨
--asr关闭本地语音识别
--serial关闭让 TransNetV2 在主线程串行运行
--force关闭覆盖输出目录

设置 DSH_FRAME_BUDGET 可启用展示帧预算;DSH_MAX_GAP_SEC 控制期望的最大相邻采样间隔。其他实验性采样参数见 pipeline.mjs。

输出

out/
├── index.json       # 帧、镜头组、页面、去重、采样预算与耗时
├── pages.json       # 页面和字幕条带的结构化定位信息
├── base/            # 基础采样帧
├── extra/           # 候选区间补取帧
├── grids/           # 六格网格和组级导航图
├── band-*.jpg       # 字幕区域图像条带
├── enh-*.jpg        # 网格与字幕条带合成页
├── subs/            # 启用 --subs 后提取的软字幕
└── audio/           # 启用 --asr 后的音频与识别产物

实际文件以本次运行结果为准;没有对应输入或开关时,subs/、audio/ 等目录可能不存在。

DSH 插件

插件源码位于 dsh-plugin/。当前插件入口公开 video_analyze、video_look、video_report 和 video_frame。它与核心处理流水线的读页入库方案尚未完全接通:video_read_page / video_library 不属于当前入口工具。插件安装和调用细节见 dsh-plugin/README.md。

架构决策和实测

性能数字来自特定设备和素材的小样本实测,不应直接外推到其他设备或视频类型。

开发与同步

根目录的 pipeline.mjs、asr.mjs 和 lib/ 是视频处理核心。插件内的 lib/videokit/ 是随包副本,由同步脚本维护。

pnpm run sync
pnpm run check

check 会核对打包文件清单和核心代码副本。模型权重不随仓库分发,使用前请分别核对 TransNetV2 与 sherpa-onnx 的许可。

Comments

Loading…

Similar plugins

dsh-video-frames

by Kagurazaka135

Give a text-only agent video understanding: extract timestamped frame files, sample only on scene changes, export GIF clips, probe metadata, and run a one-shot analyse over the frames. Five tools that

Vision & MultimodalManifest valid

★ 0

JavaScript

Oct 17, 2026

dsh plugin --profile web add dsh-video-frames

by dundunhan

Give text-only DeepSeek Harness agents video understanding: scene-aware frame sampling + VLM + optional ASR transcript fused into timeline evidence. / 给纯文本模型的视频理解插件(场景感知抽帧 + VLM + 可选语音转录)

Vision & MultimodalManifest valid

★ 113

↓ 479/wk

MIT

JavaScript

Sep 19, 2026

dsh plugin --profile web add dsh-video-lens

by ilps2

低成本视频理解 dsh 插件:B站/本地视频 → AVIS 信息层 → 摘要+问答(token 压缩 99.95%+)。Low-cost video understanding tool for DeepSeek Harness.

Tools & CapabilitiesManifest valid

★ 15

↓ 1.2k/wk

Python

Nov 6, 2026

dsh plugin --profile web add dsh-video-understand

by wxsimon2022

DeepSeek Harness 视频创作插件:新手快速上手视频创作,通过分段续拍与本机合并提供低成本长视频生成方案。Beginner-friendly video creation and a low-cost long-video workflow.

Workflow & AutomationManifest valid

★ 0

JavaScript

Nov 18, 2026

dsh plugin --profile web add metaontic-video

by STARDUSTLC666

DSH 视频处理工具插件:ffmpeg_probe/cut/concat/encode/subtitle/extract/gif/frames/adjust/health 十工具(探测摘要、批量抽帧、GIF、变速/音量/静音/旋转调整),进程走官方 subprocess 服务,超时树级终止、环境变量路径回退与多视频流探测,零运行时依赖(ffmpeg 本体除外)。

Tools & CapabilitiesDevelopment & InfrastructureSessions & MessagesManifest valid

★ 17

↓ 6.9k/wk

MIT

JavaScript

Nov 20, 2026

dsh plugin --profile web add dsh-ffmpeg

Video analysis panel in the DeepSeek Harness sidebar. Paste a YouTube or Bilibili link to fetch its subtitles and generate a summary, chapters, a mind map and citation-backed Q&A over the transcript,

Tools & CapabilitiesManifest valid

★ 1

MIT

JavaScript

dsh plugin --profile web add dsh-video-insight