DSH Plugins Marketplace

DSH Plugins

Plugins

/

Vision & Multimodal

/

dafeiyu-voice-ball

d

dafeiyu-voice-ball

Manifest valid

DaFeiYu Voice Ball: a floating desktop voice companion - click the ball, say one sentence, and it answers out loud. Local Whisper ASR + edge-tts synthesis over a live RuiC-2D animated character; ollam

hasBundlePatch

大肥鱼语音球 (DaFeiYu Voice Ball)

Platform License: MIT Node.js Python

一颗住在桌面右上的小圆球,点一下就能和住在里面的鲸鱼娘「大肥鱼1号」语音聊天。

大肥鱼语音球是一个全本地运行的 Windows 桌面语音伴侣:透明置顶悬浮球里渲染 RuiC-2D 的实时角色,按住说话 → 本地 Whisper 识别 → LLM 回答 → edge-tts 合成开口说话。角色会眨眼、摆尾、口型对齐。

所有数据(缓存、日志、模型、配置)都写在项目自己的目录里,不占 C 盘、不上传任何语音。

功能

  • 🎈 桌面悬浮球:透明无边框置顶小窗(Electron),位置记忆、右键菜单、开机自启、双击从最小化恢复
  • 🗣️ 语音对话:麦克风拾音 → faster-whisper 本地识别(自动断句)→ LLM → edge-tts 合成,口型随音量驱动
  • 🧠 三种回答后端,config.json 里 llm_backend 一键切换:
    后端说明需要什么
    ollama本地模型,稳且免费(默认)安装 Ollama 并 ollama pull qwen2.5-coder:7b
    dsh走本机 DeepSeek Harness 的额度本机运行 dsh web(端口 3425)
    deepseekDeepSeek 官方 API设置环境变量 DEEPSEEK_API_KEY
  • 🐋 角色可换:project 字段指向任意 RuiC-2D 工程,默认自带「大肥鱼1号」
  • 🎭 人设可改:persona/whale-system-prompt.txt 直接编辑

架构

大肥鱼语音球.vbs (双击启动,防重复启动)
  └─ app/start.ps1
       ├─ app/voice_bridge.py   语音桥 :8798(faster-whisper 识别 + LLM 调度)
       └─ app/launch.py
            └─ shell/main.js    Electron 悬浮球窗口
                 ├─ RuiC-2D 服务 :8796 /pet.html?project=da-fei-yu-1(角色渲染)
                 ├─ 语音桥 :8798(录音/合成/对话状态)
                 └─ edge-tts(子进程合成 mp3,逐句播放)

快速开始

前置要求

  • Windows 10/11
  • Node.js ≥ 20、Python ≥ 3.10、Git
  • 约 2 GB 磁盘空间(RuiC-2D 仓库 + Electron + Whisper 模型)

安装

git clone https://github.com/HRuiCcc/dafeiyu-voice-ball.git
cd dafeiyu-voice-ball
powershell -ExecutionPolicy Bypass -File scripts\setup.ps1

setup.ps1 会自动:克隆角色引擎 RuiC-2D 到仓库旁边 → 建 Python venv 装依赖 → 装 Electron → (可选)预下载 Whisper 模型。

启动

双击仓库根目录的 大肥鱼语音球.vbs。球出现在屏幕右上角:

  • 点一下球上的麦克风按钮,说一句话——说完自动断句识别,回答完自动回待机;再点一下说下一句
  • 右键 弹出菜单:置顶开关、开机自启、静态模式、退出
  • 再次双击 .vbs 只会把球从最小化恢复,不会重复启动

使用 DeepSeek 官方 API(可选)

# 设置环境变量(或在 系统属性 → 环境变量 里永久设置)
setx DEEPSEEK_API_KEY "sk-你的key"

然后把 config.json(首次启动前复制 config.example.json)里的 "llm_backend" 改成 "deepseek"。

配置说明

复制 config.example.json 为 config.json 后修改(球的位置等会被程序自动写回):

字段默认说明
projectda-fei-yu-1RuiC-2D 角色工程名
diameter360球直径(px)
voicezh-CN-XiaoyiNeuraledge-tts 音色,任意 官方音色 名
rate / pitch+10% / +30Hz语速 / 音调
whisperbase识别模型:tiny(0.3s) base(0.6s) small(2.3s)
llm_backendollamaollama | dsh | deepseek
modelqwen2.5-coder:7b后端对应的模型名
input_devicenull麦克风设备号;null = 每次通话自动探测有信号的设备
silence_rms35说话音量门槛(环境噪声大就调高)
topmosttrue球是否置顶
hardCirclefalse是否用系统圆形裁切硬边(默认靠页面透明圆,边缘更细腻)

目录结构

dafeiyu-voice-ball/
├─ 大肥鱼语音球.vbs        双击启动
├─ config.example.json     配置模板(复制为 config.json)
├─ app/                    Python 语音链路(识别/LLM/合成调度 + 启动器)
│   ├─ voice_bridge.py     语音桥 HTTP 服务 :8798
│   ├─ voice_engine.py     核心引擎:录音断句、whisper、LLM 后端、合成
│   ├─ launch.py           拉起 Electron
│   ├─ start.ps1           顶层启动器
│   └─ selftest_*.py       开发期自测脚本(抓屏验收球/菜单/麦克风)
├─ shell/                  Electron 外壳(窗口/右键菜单/开机自启/TTS 子进程)
├─ persona/                大肥鱼1号的系统提示词与人设
├─ assets/                 球图标
├─ tts/                    合成音频输出 + 试音样本
├─ scripts/
│   ├─ setup.ps1           一键安装
│   └─ prepare-models.ps1  预下载 Whisper 模型
└─ cache/ logs/ models/    运行时产物(git 忽略)

常见问题

Q: 首次语音对话没反应? 第一次会下载 Whisper 模型(约 150MB,走 hf-mirror 镜像),等一会儿;或先跑 scripts\prepare-models.ps1。

Q: 识别不到我说话? 环境噪声大把 silence_rms 调高;还不行就跑 python app\selftest_mic2.py 逐个设备测真实 RMS,再把设备号写进 input_device。

Q: 想让球停在别的位置? 直接拖球,位置自动记忆(写回 config.json)。

Q: 不想用 ollama,想用回 DeepSeek? 见上文「使用 DeepSeek 官方 API」。

Q: 为什么坚持全本地? 麦克风音频、对话记录、Whisper 推理全部不出本机;只有 LLM 回答走你选择的后端 API。

致谢

作者

清风同学灬 · GitHub: qfnin

License

MIT

Comments

Loading…

Similar plugins

dsh-voice-call

Voice call assistant for the DSH Web GUI: a draggable floating call ball, browser-side VAD that sends each utterance after a pause, FunASR HTTP or streaming speech recognition, MiniMax or OpenAI-compa

Workflow & AutomationVision & MultimodalTerminal & ClientsManifest valid

★ 0

dsh plugin --profile web add @biliye/dsh-voice-call

by PerryLink

Voice-first session loop for DeepSeek Harness: a composer microphone button with browser/local speech-to-text (Web Speech, FunASR, whisper.cpp), a speak tool for text-to-speech replies (browser, edge-

Tools & CapabilitiesManifest valid

★ 19

↓ 1.3k/wk

Apache-2.0

TypeScript

Nov 13, 2026

dsh plugin --profile web add dsh-talk

by victorwads

Local-first voice conversations for DSH. Run speech recognition and speech synthesis on your own machine, with optional external providers.

Tools & CapabilitiesDevelopment & InfrastructureSessions & MessagesManifest valid

★ 4

↓ 603/wk

GPL-3.0

TypeScript

Oct 7, 2026

dsh plugin --profile web add dsh-live-voice

by CharlesLiuZC

Voice-to-text plugin for DeepSeek Harness (desktop & web): composer mic button with cloud (SiliconFlow) or local offline (FunASR / faster-whisper) transcription.

Manifest valid

★ 0

TypeScript

Oct 2, 2026

dsh plugin --profile web add dsh-voice-context

by Jstn-1g

Consent-bound one-turn voice preview for DSH Web with a credential-free local synthetic demo, optional Qwen Audio, exact Session isolation, and explicit transcript-to-draft handoff without automatic s

Security & AuditTools & CapabilitiesVision & MultimodalManifest valid

★ 1

↓ 316/wk

MIT

TypeScript

Sep 5, 2026

dsh plugin --profile web add dsh-live-voice

by tangzheng202202

Real-time duplex voice over Volcengine streaming ASR/TTS: agent reply narration, barge-in, wake word, live captions, 30 Chinese voices and a reply-first acknowledgment; builds in the DSH monorepo.

Tools & CapabilitiesVision & MultimodalManifest valid

★ 0

MIT

TypeScript

Oct 17, 2026

dsh plugin --profile web add dsh-voice-live