dsh-local-stt
DiscoveredLocal ASR for DSH: Whisper NPU by default and Orukeet Vulkan
dsh-local-stt
Локальный ASR для штатного голосового ввода DeepSeek Harness. Плагин добавляет в переключатель провайдеров два варианта:
| Провайдер | Где считается | Роль |
|---|---|---|
| Whisper large-v3-turbo (NPU) | XDNA2 NPU через FastFlowLM | по умолчанию |
| Orukeet r3 (Vulkan) | Radeon 880M через audio.cpp | альтернатива |
Официальный @deepseek-ai/dsh-experimental-voice-input-bundle остаётся
хозяином микрофона, записи WAV и настроек. Плагин принимает готовый
16-кГц PCM16 WAV, запускает нужный C++-сервер, ждёт готовности, отправляет
аудио и останавливает сервер после ответа.
Установка
В DSH откройте Плагины → Добавить плагин и укажите индекс:
https://cdn.jsdelivr.net/gh/nikimagic/dsh-local-stt@main/docs/index.json
Установите dsh-local-stt и перезапустите DSH.
Что запускается
Плагин не держит серверы в фоне. На каждое распознавание:
- запускается
flm.exeилиaudiocpp_server.exe; - плагин ждёт валидный
/v1/modelsи/health; - WAV уходит на
127.0.0.1; - после ответа процесс убивается, порт закрывается.
Питона в пути нет. Запускаются нативные C++-бинарники.
Первый запуск
Плагин сам готовит всё необходимое: скачивает архив движка, распаковывает его,
затем скачивает модель. В карточке голосового ввода видно прогресс и объём;
пока чего-то не хватает, провайдер показывает unprepared, а распознавание
отвечает ошибкой со списком недостающих файлов.
| Что | Откуда | Размер |
|---|---|---|
| Движок FastFlowLM 1.0.13 | официальный релиз ROCm/FastFlowLM, резерв — engines-1 | 38,4 МБ |
| Движок audio.cpp 0.9.4 | официальный релиз 0xShug0/audio.cpp, резерв — engines-1 | 84,1 МБ |
| Модель Whisper | Hugging Face, ревизия закреплена | 622,9 МБ |
| Модель Orukeet | Hugging Face, ревизия закреплена | 873,5 МБ |
Для офлайна есть второй источник моделей — локальная папка с исходниками
(localSource / DSH_LOCAL_STT_SOURCES). Базовый адрес архивов движков
переопределяется полем engines.baseUrl, каталог установки — engines.dir.
Официальные ссылки всегда первые в автоматическом режиме: для моделей —
Hugging Face → зеркало → локальная папка; для движков — официальный релиз →
локальный архив → engines-1. Явно выбранный локальный источник моделей
работает без сети.
Проверить целостность можно кнопкой «Проверить обновления» в карточке плагина (Плагины → dsh-local-stt): она пересчитывает SHA-256 всех файлов движка и модели и докачивает повреждённое. То же делает кнопка «Скачать и подготовить» в карточке голосового ввода.
Подробности: docs/MODELS.md и docs/ENGINES.md.
FastFlowLM:
flm.exe serve --asr whisper-v3:turbo --port 52626
audio.cpp:
audiocpp_server.exe --config audio-vulkan.json --port 8028 --no-ui
Модели
Модели занимают около 1,6 ГБ и в Git не входят. Плагин готовит их при первом запуске и показывает прогресс в штатной карточке голосового ввода. Источников два:
- Hugging Face — скачивание по закреплённой ревизии, проверка размера и
SHA-256; при сетевой ошибке — резервное зеркало
hf-mirror.com; - Локальная папка — копирование из каталога
enginesбез сети.
Источник выбирается в карточке подготовки. Локальный каталог задаётся полем
localSource или переменной DSH_LOCAL_STT_SOURCES. Подробности —
docs/MODELS.md.
Пути по умолчанию:
FLM: <DSH_HOME>\dsh-local-stt\engines\fastflowlm\models\Whisper-V3-Turbo-NPU2\model.q4nx
Orukeet: <DSH_HOME>\dsh-local-stt\engines\audio-cpp\models\Orukeet-GGUF\orukeet-q8_0.gguf
Движки и модели лежат вне пакета, в каталоге данных
<DSH_HOME>\dsh-local-stt\engines (по умолчанию C:\Users\<user>\.dsh\dsh-local-stt\engines).
Поэтому обновление плагина занимает секунду и не трогает 1,7 ГБ. Путь
переопределяется полем engines.dir, переменной DSH_LOCAL_STT_ENGINES или
DSH_HOME.
Старая раскладка внутри пакета переносится в каталог данных автоматически (переименованием, без копирования).
Модель Orukeet должна быть указана в
engines\audio-cpp\0.9.4\config\audio-vulkan.json.
Модель Whisper лежит в каталоге, на который указывает FLM_MODEL_PATH.
Сборка полного комплекта движков и моделей описана в docs/ENGINES.md.
Настройка
- id: speech-to-text
config:
defaultProvider: whisper-npu
language: ru
- id: speech-to-text-local
config:
localSource: C:\dsh\dsh-local-stt\engines
whisper:
baseUrl: http://127.0.0.1:52626
model: whisper-v3:turbo
orukeet:
baseUrl: http://127.0.0.1:8028
model: orukeet_q8_0
Можно переопределить command, args, cwd, env, modelPath,
logPath, requestTimeoutMs, startupTimeoutMs, autoStart и
allowRemote. Порт в args можно оставить как {port} — он подставится
из baseUrl.
localSource — каталог engines с готовыми моделями для второго источника
подготовки. modelPath задаёт и целевой файл модели, и каталог, рядом с
которым лягут остальные файлы модели.
baseUrl по умолчанию обязан указывать на loopback. Для внешнего адреса
нужно явно задать allowRemote: true; это осознанно отключает локальность.
Графика
Иконка нарисована для проекта в стиле MagicControl; исходник и скрипт — docs/ARTWORK.md.
Ограничения
- Первый запуск требует скачать около 1,6 ГБ моделей либо указать локальную папку с ними; до этого распознавание не стартует.
- Официальная кнопка микрофона не отдаёт событие
mousedown; провайдер получает WAV после остановки записи. Поэтому сервер стартует перед распознаванием, а не в момент клика. Для старта ровно по нажатию нужна своя клиентская кнопка. - Cold start занимает около 4–5 секунд: загрузка модели при каждом запуске.
- Плагин проверяет, что на порту действительно FastFlowLM/audio.cpp, а не посторонний HTTP-сервис.
- Аудио не покидает машину, если
baseUrlуказывает на loopback.
Comments
Loading…
Similar plugins
by vTRKA
Local, offline voice input for DeepSeek Harness -Parakeet and NeMo-Speech.cpp
★ 0
MIT
JavaScript
Aug 17, 2026
dsh plugin --profile web add @local/dsh-parakeet-voice-inputby lougyang
本地部署小语音模型
★ 0
MIT
Python
Aug 15, 2026
dsh plugin --profile web add dsh-voice-inputby zhuiyueya
Voice for DeepSeek Harness(dsh) — speech-to-text input + read-aloud TTS for text-only DeepSeek, zero API key.
★ 4
↓ 1.5k/wk
MIT
JavaScript
Aug 15, 2026
dsh plugin --profile web add dsh-voiceby machine202502
Local Russian speech recognition for DeepSeek Harness: GigaAM v3 via sherpa-onnx, fully offline
★ 0
MIT
JavaScript
Nov 9, 2026
dsh plugin --profile web add dsh-voice-extby zemanzhang809
A speech-to-text (voice input) plugin for DeepSeek Harness.
★ 1
MIT
TypeScript
Sep 18, 2026
dsh plugin --profile web add dsh-stt-pluginby abbccdd
Local IndexTTS 2.5 and GPT-SoVITS sentence-level speech synthesis and playback for DeepSeek Harness
★ 11
MIT
JavaScript
Oct 29, 2026
dsh plugin --profile web add @dsh-external/dsh-plugin-local-ai-tts