dsh-hear
Manifest valid给 DSH 里的 agent 装一对耳朵:整段波形直接交给会听音频的模型(本地 Qwen2-Audio 7B,4bit 约 4.5G 显存),不走先转写再读文字那条路。模型听完描述语气、情绪、停顿和背景,插件再算基频、能量、频谱重心和停顿分布核对,两边对得上才下结论。超过一分钟先问要不要分段;能盯 QQ 语音,静默 9 秒凑齐才算说完;八个本地模型可下可切,也能填 Key 走云端。Windows
鱼鱼的耳朵(dsh-hear)
给 DSH 里跑着的 agent 装一对耳朵。它听完一段音频,能说清两件事:这人大概讲了什么,以及是怎么讲的(语气、语速、停顿、背景)。
关于「只听不转写」
根据唐诗作者的发现,耳朵的功能会必不可少的带有概括和原话的内容,这让作者十分难堪;因为这个有点违背了当初「只听不转写」的立意,这样的插件和普通的转写插件没什么区别了。
在此作者对所有人深感歉意,并承诺绝对不会再使用这种过分绝对的话语,并继续精进插件,让它早日真正实现耳朵的功能。真的非常对不起大家。
它现在能做什么
- 听:wav / mp3 / QQ 的 silk 都行,说出大概讲了什么事、语气、语速停顿、背景有没有声音;听不出来的会说听不出来,不硬编。
- 两档:小模型(SenseVoice)负责把话转成文字、认出音乐笑声这类声音事件,几乎不占显存;大模型按需加载,负责听感那部分,用完就卸。
- 记忆:每听完一条记一行,两个区(听来的 / 自己说出去的),要回忆时用
hear_recall翻,不自动塞上下文。 - QQ:盯着桥接目录里的语音文件,听完把结论递回给 agent;回不回、用不用语音,由 agent 自己决定。
安装
-
Python 3.10 / 3.11,装完
python --version能看到版本; -
装依赖(国内可加
-i https://pypi.tuna.tsinghua.edu.cn/simple):pip install torch torchaudio transformers accelerate soundfile numpy fastapi uvicorn bitsandbytes pysilk -
装插件:
dsh plugin add git+https://github.com/FlyingCharon/dsh-hear,或者下 release 里的 zip 在设置里本地安装。路径别带中文; -
设置 → 鱼鱼的耳朵 → 模型页下载模型、启动;状态页显示「已启动」就能听。仓库里的
测试音频/有五段可以试。
需要什么
- Windows 10 / 11;
- NVIDIA 显卡,6G 显存起(Qwen2-Audio 4bit 约 4.5G);没有显卡也能用快速区,理解区改用云端接口;
- 磁盘:模型 16.8G,依赖另几 G;第一次要联网下模型。
注意
- 听感是模型给的,会有偏差,不保证每次百分之百对;同一段音频隔一会儿再听,结论都可能不一样。
- 偶尔会把杂音说成具体的声音(比如把咔哒声说成掌声),这种细节别当事实用。
- 它自己写的时间点可能超出音频长度,插件会把越界的丢掉,偶尔留下半句。
版本
| 版本 | 时间 | 内容 |
|---|---|---|
| 0.1.2 | 2026-11-14 | 分成快速区和理解区:小模型负责转写和听出声音事件,大模型负责听感;新增听感记忆;Omni 模型现已启用;模型被误判成僵尸等问题现已被修复 |
| 0.1.1 | 2026-11-09 | 主动回复按模式分渠道:判成对话就用语音回,素材回文字;每条桥可强制语音/文字。修了回复发不出去、后台 404、桥接冲突静默丢消息 |
| 0.1.0 | 2026-11-08 | 第一版:能听、能诊断、能下模型、能接 QQ 语音 |
许可
- 代码:MIT,见 LICENSE;
- 测试音频(
测试音频/下那五段录音):只允许用于测试这个插件,不跟代码一起走 MIT。不许拿去训练模型、单独再分发、商用或二次创作。细则见 测试音频/授权.md; - 模型权重不在这个仓库里,各家许可证不一样,用之前自己看一遍。
Comments
Loading…
Similar plugins
by SciF-Lin
DSH 提示音插件:任务完成/需要回答/需要授权/出错四类事件的 Web Audio 实时合成提示音,可在通用设置里逐事件选音、上传自定义音频,对话左下角有临时静音喇叭;兼容桌面端与网页端
★ 6
NOASSERTION
JavaScript
Oct 28, 2026
dsh plugin --profile web add dsh-notify-sound-plusby CixiSVesper
Local audio understanding for DeepSeek Harness: transcription (whisper medium), rhythm, melody, chords, structure - six tools, fully offline. Needs a Python 3.10-3.12: point DSH at an existing environment (e.g. ComfyUI), or let the plugin create and install its own. Vocal separation runs UVR MDX-Net on onnxruntime, so torch is not required.
★ 35
MIT
Python
Nov 8, 2026
dsh plugin --profile web add dsh-soundtryby AI-Galaxy-GPU
DeepSeek Harness(DSH)Web 端插件:回合完成、审批、提问、计划评审、目标受阻、任务失败各有独立提示音与音量,内置合成音 / 静音 / 本地音频文件,Web 设置面板可配置。
★ 14
↓ 11/wk
MIT
JavaScript
Sep 15, 2026
dsh plugin --profile web add dsh-soundby LaoQianwocao
DSH Web 音效播放器(设置页管理):对话完成、发送消息、权限请求、被提问、服务终止、子代理运行完成、最后一个子代理运行完成等 7 类场景触发提示音;内置 Web Audio 合成音效与 Windows 系统提示音,可导入自定义音频并逐项绑定;提供 soundPlayer API 供其他插件集成
★ 6
JavaScript
Oct 26, 2026
dsh plugin --profile web add dsh-sound-playerAudio cues for DeepSeek Harness: a short synthesized sound when an agent needs confirmation, finishes a turn or a background job, or fails, with five sound packs, per-event toggles and volume, and do-
★ 0
dsh plugin --profile web add dsh-audio-cueby loyalchiiina
DSH 对话语音/音效播报插件:每个 turn 结束自动提醒,出错播失败提示;内置 20 个音效(提醒 10 + 大自然 10)零配置开箱即用,也可用火山「声音复刻」克隆自己的音色。
★ 2
MIT
JavaScript
Nov 9, 2026
dsh plugin --profile web add dsh-voice-alert