dsh-evidence-audit
Manifest validChecks the agent’s own claims against the tool output saved in the same session: each sentence carrying a path, a number with a unit, inline code or a URL is graded supported, partial or no evidence,
dsh-evidence-audit
「取证」——把 Agent 的最后一条回答,逐句对回它自己调用过的工具输出。
在 conversation.composer.dock 里加一枚胶囊,点开给出:
- 证据覆盖率:可核对句子里,有多少能被工具输出支撑
- 三档判定:有据 / 部分有据 / 没找到证据
- 缺失清单:每个未被支撑的句子,列出它声称的锚点(路径、数字、行内代码、URL)里哪些在工具输出中找不到
它解决什么问题
Agent 会"总结得很像真的":说测试通过、说覆盖了多少、说改了哪个文件。这些话对不对,没人逐句核对。这个插件把"结论"与"证据"并排放在一起——不是判断对错,而是指出哪些话没有依据。
判定规则(启发式)
- 从最后一条助手回答里切出可核对的句子(含路径、带单位的数字、行内代码或 URL)。
- 从每个工具调用的
argsRaw与结果文本里建立证据语料。 - 逐锚点做忽略空白的大小写无关匹配:
- 全部命中 →
有据 - 部分命中 →
部分有据 - 全部未命中 →
没找到证据 - 数字出现但单位不同(如声称"42 个"、工具输出是"42 passing")→ 归为
部分有据,不算无据。
- 全部命中 →
边界(写清楚)
- 这是启发式锚点匹配,不是语义证明。它指出"工具输出里没提到",不等于该句错误。
- 只审计会话里可见的工具输出;被裁剪或未加载进窗口的历史不在语料里。
- 不联网、不读文件、不落盘:数据全部来自页面已持有的 Chat 快照。
安装
pnpm install
pnpm run build
然后用 plugin_manager install_bundle 指向本目录。
开发
pnpm run check # tsc -p tsconfig.json
pnpm run build # src/*.tsx -> dist/client.js + dist/index.js
Comments
Loading…
Similar plugins
by AaronandWork
Evidence-first conclusion gate that cross-checks first-hand claims against a durable per-session tool-activity index, blocks unverified guesses and tracks blocked-versus-converted metrics.
★ 8
↓ 188/wk
MIT
JavaScript
Sep 12, 2026
dsh plugin --profile web add @aaronandwork/dsh-evidence-gateby 863683348
Verification toolkit for DSH agents: evidence-based claim checking against workspace files with line citations, config validation (JSON/YAML), and read-only URL/npm/GitHub submission-readiness probes.
★ 0
MIT
JavaScript
Sep 11, 2026
dsh plugin --profile web add dsh-plugin-verifyStages exact DSH tool calls without dispatch, presents complete canonical arguments in a durable Batch Review Inbox, invalidates approvals after edits or restarts, and commits only a matching SHA-256
★ 0
dsh plugin --profile web add dsh-action-outboxby bauerelizabeth07139
Auditable mathematical proving for DeepSeek Harness: a local stdio MCP server (23 tools), a bundled workflow skill, and the /prove and /audit-proof commands. proven / refuted / inconclusive are never
★ 0
MIT
Python
Oct 8, 2026
dsh plugin --profile web add dsh-math-rigorby Phocinae
Pre-claim gate: a commit, push or tag claim like "tests pass" is checked against the session evidence ledger before it is written.
★ 0
Apache-2.0
JavaScript
Oct 20, 2026
dsh plugin --profile web add dsh-preclaimby xingyanghaifu
Requirement-to-evidence audit for DeepSeek Harness sessions: map every requirement to tool evidence, catch missing or out-of-scope work, and audit subagents and conflicts.
★ 0
MIT
JavaScript
Nov 5, 2026
dsh plugin --profile web add dsh-reqtrace