DSH Plugins Marketplace

DSH Plugins

Plugins

/

dsh-eye

d

dsh-eye

Manifest valid

dsh-eye: Give AI a Pair of Eyes That Can See What Just Happened (In-Memory Screen Ring Capture + Peripheral Vision Window + 1:1 Focus + Action Echo). DSH plugin: an in-memory screen ring so the AI can see what just happened.

UI (client)hasBundlePatch

dsh-eye(鲸鲸的眼睛 · screen ring)—— 给 AI 装一双「看得见刚才」的眼睛

AI 平时只看得见你主动给它的那一帧截图,看不见动作发生的过程。dsh-eye 把最近的屏幕画面按帧留在内存里,让模型能回看刚才几秒~几十秒发生了什么,能按格子编号回取某一格的 1:1 原像素,能在你点完按钮后自动给出「点前 / 点后」的对比,还能在屏幕大幅变化时提醒模型(或在你眼前闪一条提示)。

所有画面只存在内存里:不落盘、不压视频、关掉就是真把采集进程杀掉。

这个仓库是**「鲸鲸的眼睛 · screen ring」**。GitHub 上另有同名仓库,不是同一个项目;认作者 chddydwd。

Windows · DSH 插件 · 自测阶段 · 当前 0.2.0(2.0 = 读字 + 找控件 + 事件时间线 + 隐私打码 + 敏感窗口自动挡 + 自动性能档 + 屏幕适配 + 语音输入)

适用场景

它补的是同一个洞:AI 平时只看得见你手动截图的那一帧。下面这些场合,眼睛让它自己看:

  • 一起看视频 / 直播:你问「刚才那句字幕是什么」「前面那个画面啥样」,模型回看最近几十秒,不用你复述。
  • 教人用电脑 / 远程支援:模型能看见你点了哪、窗口怎么变的,直接说「点右上角那个齿轮」「你刚点的是取消」,不用你截图解释。
  • 报错、弹窗、看不懂的界面:eye_text 读窗口里的文字(浏览器能读整页),eye_find 告诉你按钮在屏幕什么位置;点不点、点哪里,你自己按。
  • 抄数字、填表、看文档:把屏幕上的文字读出来,不用手抄。
  • 不想被看见的地方:手框一块打码,或者让敏感窗口(银行 / 支付 / 密码 / 凭据)自动整窗糊掉;打码区连字都读不到。
  • 懒得打字:装可选语音包后,小窗里说话直接变成消息发出去(本机离线转写)。

边界写清楚,免得误会:只报位置、不代你点、不代你操作;画面只在内存,不落盘、不上传;这些能力只给你自己装的 DSH,不是后台偷偷录。

它能做什么

能力说明
回看连续画面近层默认 20fps × 30 秒;远层每 2 秒一张,最多 1 小时。帧率按画面变化自适应:真静止才落到下限 5fps,慢慢动 12fps,一动就拉满 20fps(宁可多抓,不漏慢镜头)
余光窗口把一段时间压成一张带编号的缩略图拼图,先看哪块在动
1:1 聚焦按格子编号取回原分辨率裁剪,小字能读清
动作回声最近一次点击的「点前几帧 + 点后几帧」,用来看这一下点中没、界面有没有反应
大变化提醒只在「换了前台窗口」或「整屏内容大改」时记一笔:只记面板 / 前台闪提示 / 直接叫醒模型,三选一;灵敏度分少打扰 / 平衡 / 别漏三档,面板一键切换
实时画面面板里每 1.5 秒刷一张当前帧,能直接看见眼睛在拍什么
四种视角同一块预览可切「实时 / 余光拼图 / 动作回声 / 聚焦」,就是模型实际拿到的那几张图;画质、近层时长一改,预览跟着变
性能档低 / 中 / 高 一键换全套参数(内存量级约 100 / 260 / 430 MB),拖任一滑块就变「自定义」
屏幕适配分辨率、缩放(DPI)、刷新率自动探测,坐标按物理像素算;多屏暂只抓主屏(后续版本)
抓取范围默认整屏;也可以在全屏遮罩上拖一个框,只抓那一块(视频画面、一个窗口);或者「跟鼠标」,只录光标周围一块。选完立刻生效,不用重启;点一下不拖或按 Esc 取消,面板「整屏」按钮恢复
自检面板「自检」按钮一键跑体检:采集 / 活动 / 参数 / 提醒 / 进程各看一眼,结论和细节直接贴在面板上(命令行也能跑:python python/eye_doctor.py <DSH端口>)
对话框小窗置顶画中画小窗,直接打字跟模型说话,不经过聊天软件
鼠标钩子默认关。开了以后由系统通知「鼠标按下的准确时刻」,点下去那一刻立刻抓帧、坐标就是真实坐标,快速连点也不漏(实测轮询 10 下只记到 3 下)。代价是系统级钩子,个别安全软件会提示
事件时间线点击、换前台窗口、滚轮按时间排一行(只记时间、位置、窗口名,不记内容);换窗口那一下会自动拉满帧率一秒多,把切换后的画面抓清楚
隐私打码手动框几块区域,之后所有给出去的图(实时 / 拼图 / 回声 / 聚焦 / 截图)里那几块都是马赛克;面板一键开关、清除,也能让模型用 eye_mask 传坐标。密码框要手动框(自动识别实测不可靠,见「已知限制」)
敏感窗口自动挡默认开。前台窗口标题里带「银行 / 支付 / 网银 / 密码 / 凭据 / 支付宝 / 微信支付 / 钱包 / bank / payment / password / credential」这类词时,整个窗口在输出图上自动糊掉,读字也跳过,不用手框。认的是窗口标题,不是内容
读字eye_text 直接读窗口里的控件名和正文(走 Windows 无障碍接口,不是 OCR),打码区跳过;浏览器 / Electron 里读到整页文字
找控件eye_find 按名字找按钮 / 输入框 / 链接 / 菜单项,返回「它在屏幕上的中心点」——只报位置,不代点、不操作。走无障碍树,游戏和自绘界面认不出
语音输入可选(默认关、不装不加载):小窗里说话直接转成文字发出去,🎤 点一下说一段、🎧 一直听说完自动发送,本机离线跑

长什么样(文字版)

侧栏面板从上到下:眼睛开没开(在录 / 关掉)→ 状态行(帧数、fps、内存环跨多少秒、光标位置、点击次数)→ 对话框(开小窗,打字/说话直接跟模型说)→ 现在眼睛看到的(实时 / 余光拼图 / 动作回声 / 聚焦 四种视角,一张预览)→ 常用开关(录哪里、敏感窗口自动挡、隐私打码、鼠标钩子、大变化时怎么叫、灵敏度)→ 怎么用 与 眼睛参数(性能档、滑块),最后一行是「只留内存、不落盘;关掉=真把采集进程杀掉」。

余光窗口长这样:一张拼图,每格左上角有编号,先看哪一块在动,再回取那一格的 1:1 原像素。

截图暂不放在仓库里:面板截图会带出本机桌面与主题背景,有个人信息和第三方图片的版权问题,等做到干净的演示环境再补。

性能档(低 / 中 / 高)

侧栏「眼睛参数」最上面一排,点一下就整套换掉,不用自己算六个滑块:

档近层闲着时远层画质内存量级适合
低15 秒 / 8fps3fps5 秒一张,留 15 分钟60约 100MB老笔记本、核显机器
中(默认)30 秒 / 20fps5fps2 秒一张,留 1 小时82约 260MB一般机器
高45 秒 / 25fps6fps1 秒一张,留 1 小时90约 430MB好机器

低档是老实省:8fps 意味着 125ms 才一帧,动作过程会变粗,小字得靠「聚焦」凑近看,别指望它跟中档一样连贯。拖任一滑块,性能档会自动变成「自定义」,不假装还是预设;点回低/中/高就恢复整套。

自动性能档(默认开)

性能档是用户自己选;自动性能档是插件自己看实际情况收放:每 2 秒算一次最近的实测单帧耗时(缩略图+编码+落环),平均超过 45ms(25fps 的预算只有 40ms,已经吃紧)就退一档,余量够了(平均低于 26ms)并且撑住 20 秒才升回来。

  • 慢机器/开着录屏/大游戏时不会因为掉帧把「刚发生的那一下」搞成糊的;好机器也不会被钉死在低档;
  • 一改性能档(低/中/高或拖滑块),自动档跟着新档重新学;
  • 面板「眼睛参数」里能关掉:关掉就完全按你设的帧率跑,吃力就掉帧,不再自作主张;
  • 只在「该多快」的封顶上起作用——什么时候该快还是由画面变化决定。

屏幕适配

不写死分辨率:启动时按显示器实际物理像素抓帧,缩放(DPI)用进程级 DPI-aware + 实际 DPI 探测,坐标(光标、点击、框选)统一按物理像素换算,所以换分辨率、改缩放比例都不用动配置。刷新率也会探测出来(面板「抓取范围」那一行会显示,比如 1920x1080 @240Hz / 缩放 100%),采集帧率不受它限制,但你自己看一眼就知道这台机器能撑多高。

已知限制:多屏(双屏/扩展屏)暂时只抓主屏,选哪块屏的接口已经写好了(/monitors、/monitor?i=N)但面板没放开,等后续版本做完整支持再露出来。

抓取范围(只录一块 / 跟随鼠标)

默认抓整屏。只想跟一个窗口/一段视频打交道时,点面板「框一块」,屏幕会暗下来,拖一个框松手就生效——之后近层、远层、余光拼图、动作回声、聚焦全都只针对这一块,帧也小、内存也省。选完立刻生效,不用重启;点一下不拖或按 Esc 取消;点「整屏」恢复。选择会写进 ~\.dsh\eye-runtime.json,下次启动还记着。

跟随鼠标(/follow)

点面板「录哪里的 → 跟鼠标」,眼睛就只录光标周围一块(默认 960×540,按选中屏大小夹住):光标走到哪,帧就抓到哪,比全屏省 CPU 和内存,又不用先框一个固定区域。位置按 32 像素网格对齐,不会因为光标细微抖动让帧框一直跳。

  • 优先级:跟随鼠标 > 框选区域 > 整屏。
  • 面板上它会显示成「跟着鼠标走:只录光标周围 W×H」。
  • 想固定一块就点「框一块」,想全录就点「整屏」——这两个动作都会自动把跟随关掉。
  • 命令行:/follow?on=1|0,可选 &w=960&h=540 改大小。

敏感窗口自动挡(默认开)

打开网银、支付页面、输密码的时候,不用记着先手框——前台窗口标题里带「银行 / 支付 / 网银 / 密码 / 凭据 / 支付宝 / 微信支付 / 钱包 / bank / payment / password / credential」这类词,这个窗口在所有给出去的图里就整窗是马赛克,eye_text 也读不到它的字。切走自动恢复。面板「敏感窗口自动挡」可以关掉,也可以看它现在挡着谁。

词表能在 ~/.dsh/eye-runtime.json 的 sensitive.words 里改(/sensitive?on=0|1 只开关)。

说清楚边界:它认的是窗口标题,不是内容——标题里没写「银行」「支付」这类词的自绘界面、游戏、网页登录框,它认不出来,还得用下面的「隐私打码」手动框。反过来说,标题里带这些词的正常窗口(比如我在读的一篇讲银行的文章)会被整窗糊掉——宁可多挡。

隐私打码(默认开)

有些地方不该被看到:密码框、聊天记录、工牌、别人的屏幕。面板「隐私打码」点「框选打码区(拖一下)」,屏幕会暗下来,拖一个框松手——这块以后在所有给出去的图里都是马赛克(实时预览、余光拼图、动作回声、聚焦裁切、/shot 截图,一个都不漏)。可以框多块、随时「清除」,开关关掉就原样输出。选择写进 ~/.dsh/eye-runtime.json,下次启动还记着。

密码框试过做自动挡:换前台窗口时用无障碍接口(UIA 的 IsPassword)问一遍哪些框是密码框。实测在 Chromium 内核页面和 WinForms 密码框上都认不出来(前者不把页面输入框暴露成 Edit,后者只暴露成 Pane、不给密码标记),所以这一版没放自动挡——请用「框选打码区」手动框一次,位置会写进配置、下次还记着。

模型侧也能直接用:eye_mask({ rects: [{x:100,y:200,w:400,h:120}] })(屏幕像素,跟 /state 的 cursor、clicks 同一套坐标),或者 eye_mask({ on: false }) 临时关掉。要问「现在挡了什么」就 eye_mask({})。

框存的是屏幕坐标:以后改抓取范围、换屏,框还贴在同一块屏幕上,不会跟偏。打码同时挡住读字——框住的地方 eye_text 不出那几段、OCR 也是先糊再读。

说清楚边界:打码是把画面糊掉,不是加密。它挡的是「模型看到的图」,挡不住有本机权限的人。dsh-eye 从来不把画面写磁盘、不联网,所以没有「后台偷偷存了原图」这回事——这也是它和「先传上去再打码」的做法最本质的区别。

鼠标钩子(默认关)

默认是「每 20ms 问一次按键」记点击。问题在于:问的那一下没撞上按下的瞬间就漏了——快速连点实测 10 下只记到 3 下,而且时刻是「撞上时」而非「按下时」,动作回声的帧对不齐。

开了鼠标钩子(低级鼠标钩子 WH_MOUSE_LL)以后,按下鼠标由系统直接通知,回调里只记时间戳和坐标就立刻返回(重活全交给采集线程),所以不会拖慢输入。效果:

  • 点下去那一刻就有帧,动作回声对得更准;
  • 快速连点一个不漏(实测钩子 10/10,轮询 3/10);
  • 关掉立刻退回轮询,功能一点不丢,只是精度回去。

为什么默认关:这是系统级钩子,个别安全软件会弹提示,有人不能接受。面板「鼠标钩子」一行可随时开关,选择写进 ~/.dsh/eye-runtime.json;钩子装不上(被拦、权限不够)会在面板上报错并自动退回轮询。已知限制:独占全屏的游戏可能收不到钩子事件。

组成

  • lib/ —— DSH 插件本体(Node):起停采集进程、把能力注册成工具、侧栏面板。
  • python/ —— 采集与图像服务(Python + Pillow,可选 ffmpeg 兜底):抓屏 → JPEG → 内存环形缓冲,本地 HTTP(127.0.0.1:13201)对外提供画面。
  • python/eye_chat.py 对话框小窗、python/eye_toast.py 前台提示条、python/eye_region.py 框选遮罩、python/eye_mask.py 打码遮罩、python/eye_doctor.py 自检、python/eye_stt.py 语音转文字(可选依赖,没装就只打字)。

安装(Windows)

前置:Python 3.10+(安装脚本会 pip install 抓屏依赖 mss)。ffmpeg 是可选的兜底:装了更稳,没有也能跑(winget install Gyan.FFmpeg)。分辨率、ffmpeg 路径都自动探测,不用手改。

git clone https://github.com/chddydwd/dsh-eye.git
cd dsh-eye
powershell -ExecutionPolicy Bypass -File install.ps1

装完重启 DSH,左侧栏出现「眼睛」,点「打开」开始采集。脚本会把插件与采集脚本一起装进 ~\.dsh\plugins\dsh-eye、写 ~\.dsh\eye.json、挂进 profile 并检查 ffmpeg;不想跑脚本可以看 INSTALL.md 里的手动步骤。卸载用 uninstall.ps1。

工具

工具用途
eye_status眼睛现在什么样:开没开、帧数、fps、环跨多少秒、内存、提醒状态
eye_toggle开 / 关(关 = 真杀进程)
eye_window余光窗口:一段时间压成带编号的拼图
eye_cell按编号回取某一格(可指定裁剪区域)的 1:1 原像素
eye_echo最近一次点击的动作回声
eye_text读字:问 Windows 无障碍接口要前台窗口的控件名、输入值和正文(读不到再退本地 OCR)
eye_find找控件:按名字 / 按钮文字在窗口里找,返回屏幕坐标中心点(只给位置,不点)
eye_timeline刚才发生了什么:点击 / 换窗口 / 滚动的时间线(只要元数据,不读画面)
eye_mask隐私打码:框几块区域在所有输出图里糊掉、读字也跳过(可加 / 清 / 开关),坐标用屏幕像素
eye_watch大变化提醒的开关、灵敏度(quiet/normal/sensitive)、阈值、间隔、去处(面板 / 闪提示 / 叫醒)
eye_chat打开对话框小窗 / 往小窗里说话

面板上还能改采样参数(近层时长、帧率、闲时帧率、远层间隔与跨度、画质),改完立即生效,重启也记得。面板「自检」按钮会跑一遍 eye_doctor.py,把结论和几行细节贴在面板上——哪里不对先点它。

读字(eye_text)

看像素是「猜」,读字是「问」。eye_text 走 Windows 自带的无障碍接口(UI Automation),直接拿前台窗口的控件名、输入框当前值、文档正文——不是截图猜出来的,所以文字准确、带坐标、而且不花 token(本地接口,只有你调它、文本进了上下文才算钱)。

一次实测:当前窗口 5 个控件 + Document 正文(侧栏、按钮、消息都读得到),175ms。记事本里打一行字,TextPattern 读回来就是原文。

读不到的情况也写清楚:

  • 有些游戏、远程桌面、自绘界面不给无障碍树 → 自动退回本地 OCR(Windows 自带中文引擎,离线)。OCR 读大字号还行,小号 UI 字会出错,别指望它读合同。
  • 密码框(IsPassword)标记为真的控件跳过,不读内容;个别老程序不给这个标记(见「已知限制」)。
  • 只读你调它的那一下,不在后台一直读。

找控件(eye_find)

「那个发送按钮在哪」「输入框在屏幕什么位置」——eye_find({ q: "发送" }) 在窗口的无障碍树里按名字找(控件名、按钮上的字、输入框当前值都算,不区分大小写),返回每一项的屏幕坐标中心点和左上角,被打码挡住的控件不算。

浏览器、Electron 应用(QQ、Harness 自己)的无障碍树很浅,只交一个整窗大小的 Document,直接按节点找只能给你窗口中心。这种情况它会改用文档文字范围去定位:FindText 找到那串字,再用 GetBoundingRectangles 拿它在屏幕上的真实矩形——实测在 QQ 里找「联系人」返回 12×15 的小方块,正好套在那三个字上。

它只报位置:不代点、不移动鼠标、不发键。要动手还是你自己来,或者告诉模型下一步做什么。

⚠️ 浏览器里的中文定位是「大概准」不是「像素准」:Chromium / Edge 的文档文字范围对中文有偏移和碎片,实测 FindText("保存设置") 返回的文字是「设置取消」、两个 40×23 的矩形分别落在按钮左边和按钮上——坐标能点到按钮,但别把它当成那个词的精确字框。按钮名是纯英文/数字时通常准。

认不出的情况同样明说:游戏、远程桌面、自绘界面、画在图片里的字不在无障碍树里,eye_find 会说找不到——那时候只能看图(eye_window / eye_cell)。

一次实测:在 Harness 窗口里找「发送」,返回按钮的中心坐标,误差在按钮内(多点测试的坐标都对得上块)。

事件时间线(eye_timeline)

「刚才」不只有画面,还有动作顺序。eye_timeline 把最近发生的事按时间排一行:

8秒前  换窗口  「鲸鲸 — DeepSeek Harness」
12秒前  点击 @(1049,826)  「鲸鲸 — DeepSeek Harness」
25秒前  滚动 @(960,540)  「desktop」

它只记时间、位置、窗口名,不记屏幕内容、不记你打了什么字——看内容要另外调 eye_window / eye_echo。点击和换窗口靠系统轮询就能拿到;滚轮要开「鼠标钩子」(默认关)才准。

换前台窗口算硬事件:记一笔的同时会把帧率拉满 1.2 秒,切换后的画面不会糊成一张。

面板上「事件」那一行就是它的最近 5 条;命令行也可以直接看接口:curl http://127.0.0.1:13201/events?n=20。

语音输入(可选,默认关)

小窗里能直接说话,转成文字当消息发出去,不用手打字。默认不装、不加载:没装语音依赖时,小窗就是现在这样只打字。

装(可选,约 300MB 磁盘 / 首次下载模型,之后离线):

python -m pip install faster-whisper sounddevice opencc-python-reimplemented

opencc-python-reimplemented 是可选但建议装:Whisper 的中文输出经常是繁体,装了它插件会把结果转成简体(没装也能用,只是偶尔会冒出「這/嗎/聽」)。

模型默认 small(约 460MB 内存,CPU 跑)。第一次用时从 hf-mirror 下到本地缓存(约 484MB,之后完全离线)。换模型:环境变量 EYE_STT_MODEL=tiny|base|small|medium。想省内存用 base,想更准用 medium(慢)。

想用已经下好的模型目录(免联网、免重复下载):把模型文件放成一个目录(里面有 model.bin、config.json、tokenizer.json、vocabulary.txt),再用环境变量 EYE_STT_MODEL_DIR=<那个目录> 指过去;也可以放到插件目录下的 models/faster-whisper-small/,会自动找到。

实测(这台机器,CPU):5 秒左右的一句话,转写约 2 秒;第一次加载模型约 1–2 秒(小窗打开后自动预热,不占你等待)。

小窗输入框左边两个按钮:

  • 🎤 手动:点一下开始录,再点一下停 → 转写 → 直接发出去。
  • 🎧 自动:点一下一直听,安静 0.7 秒算一句,说完就转写、发出去;再点一下停。

录音只在内存里(16kHz 单声道),转写完就丢,不落盘、不上传;转写在本机 CPU 上跑。识别率看环境:安静、贴近麦克风、普通话标准时很稳;嘈杂、方言重、说得太轻、太短的词(两个字以内)容易错字,说整句准得多。转写结果偶尔会是繁体,属正常。

依赖说明:faster-whisper 自带的 av 版本在本机(Python 3.12 + av 19)读文件会报 metadata_errors,所以插件走的是「WAV/PCM 直读」路径;小窗实时录音正是这条路径,不受影响。

合规提醒:语音只用于你自己设备上你自己说的话。录到别人的声音属于个人信息,要先让对方知情同意;别拿它做偷录、监控、取证。工具不联网、不上传,但录什么由使用者负责。

给 Agent / 角色扮演用(怎么调用、多久看一次)

写在 docs/agent-usage.md 里,包括:三种用法(被动感知 / 按需回看 / 陪看小窗)、建议的调用约束(一轮最多看一次、先拼图后凑近、没看就别说看到)、可以直接贴进角色设定的提示词块、「不适合拿眼睛干的事」,以及鲸鲸(陪伴型角色)的完整示例——人设片段、三个真实场景的对话、看与不看的节奏表。

一句话版本:眼睛的价值是「刚才」,不是「每时每刻」——没被指代就别抓图,看了才说看到了。

环境变量(可选,一般不用动)

变量作用
EYE_PORT采集服务端口,默认 13201
EYE_RUNTIME运行参数的 JSON 路径,默认 ~\.dsh\eye-runtime.json
EYE_CAPTURE设成 ffmpeg 就强制走 ffmpeg 抓屏(调试 / mss 出问题时用)
EYE_FFMPEG指定 ffmpeg 可执行文件路径
EYE_FAR_MB远层(每 2 秒一张那层)内存上限,默认 320(MB);内存紧就调小,能回看的时间会变短
EYE_HOOKS设成 1 就默认开鼠标钩子(等于面板里点「开」)。默认不开

开销(本机实测,1920×1080)

  • 闲着:约 0.14 核 CPU、150MB 内存(5fps 兜底,宁可多抓不漏慢镜头;帧率按画面变化自动在 5 / 12 / 20 fps 之间升降,动完保持 2 秒再降)。
  • 手在动 / 画面在动:约 0.57 核、内存按近层张数涨(中档 20fps 满环约 340MB,有 320MB 远层上限封顶)。
  • 默认参数下内存上限约 320MB 远层 + 近层(实测闲置约 120MB、手在动约 150–200MB,会随内存环填满略涨);磁盘占用 0(全在内存)。
  • 一张 798×450 的拼图约 222 token,与里面装多少格无关。

只装它一个也能用(自足)

眼睛不依赖任何别的 DSH 插件:只吃三样——DSH 核心的插件机制(注册工具 + 面板路由 + 会话事件)、本机 Python、Windows 自己的 API。不借 win32 工具、不借别的视觉/工作台插件,也不假设你装了任何扩展。

  • 第三方依赖只有三个 pip 包:numpy / pillow / mss(安装脚本会装);没装 mss 会自动走 ffmpeg 兜底,ffmpeg 也没有就报错提示,不会静默失效。
  • 宿主有「附件」服务时,抓到的图会直接贴进对话;没有该服务时会在工具返回里明说「交不上去」,不假装成功。
  • 全本地:只监听 127.0.0.1,不连任何服务器;关掉 = 采集进程真被杀。

验收标准:干净的 DSH profile,插件列表只挂 dsh-eye,面板 / 工具 / 采集 / 对话框 / 读字全都正常,才算可发布。

2026-11-18 已按这条路实测过一遍:造一个空的 DSH_HOME(只有 profiles/bare 和一个 link 到 dsh-eye 的 dependency),跑 install.ps1 -Profile bare -SkipDeps 装进去,再用无头宿主起这个 profile。/dsh-eye/state、/dsh-eye/client.js、/dsh-eye/doctor 全部正常,读到的设置来自这个空 home 的 eye.json(不再是安装机器的)。这一步顺手抓出两处「换机器就错」的硬编码:启动时读设置的那一行写死了原主人的 eye.json,以及 persistEye() 保存时会把安装器写的 paths 键冲掉——都修掉了。

隐私

  • 画面只在内存里,不写磁盘、不联网(只监听 127.0.0.1)。
  • 关掉 = 采集进程被杀;没人动超过 10 分钟也会自动停采集,一动就回来。
  • 对话框与提醒条都是本机进程,不经任何服务器。
  • 隐私打码在发出去之前就糊掉(不是事后裁剪),原始帧不进任何文件。
  • 打码只是模糊,不是加密:它挡的是模型看到的画面,挡不住有本机权限的人。
  • 语音(可选):录音只进内存、转写完即丢;识别在本地 CPU;不上传、不联网。
  • 录到的内容如果包含别人(声音、画面、聊天记录),属于个人信息,使用前要先取得对方同意——这一点工具保证不了,得用的人自己守。

已知限制

  • Windows,只抓主屏(按主屏实际分辨率,DPI 缩放已处理);多屏未支持。
  • 抓屏走系统级截屏(优先 mss,缺依赖时退回 ffmpeg gdigrab),被其他窗口挡住的区域看不到(抓的是屏幕像素,不是后台渲染)。
  • 「大变化」是启发式判断:换前台窗口算硬事件;视频在放、页面滚动这类持续变化不算。仍可能误报或漏报,阈值可调。
  • 打码是像素化马赛克(14 像素一格),不是加密。
  • 没有自动识别密码框:实测 UIA 的 IsPassword 在 Chromium 页面和 WinForms 密码框上都拿不到(Chromium 不把页面输入框暴露成 Edit;WinForms 只暴露成 Pane),所以只有手动框选。自绘界面、游戏、部分 Electron 弹窗同理都得自己框。
  • 老式程序(部分是 WinForms / MSAA 代理)会把密码框里的文字塞进控件名,任何 UIA 读者都会看到——eye_text 会照系统给的读。所以输入密码的时候别让模型读字,读字前先用面板挡上。
  • 语音是可选项:没装 faster-whisper 时小窗只有打字;装了之后中文识别在安静环境可用,嘈杂/口音/轻声会出错字,重要内容别只靠语音。
  • 浏览器里中文定位有偏移:Chromium / Edge 的文档文字范围会串字、拆碎(见「找控件」一节),坐标落在控件附近可点,但不是词的精确矩形。
  • OCR 兜底读的是整屏最新帧,不是目标窗口:微信这类 Qt 自绘界面 eye_text / eye_find 会退到本地 OCR,那时它看的是整个屏幕——能把别处的字也读进来、把别的窗口的字算到这个窗口头上,所以自绘界面的结果要当线索不当证据。
  • 打码框是屏幕坐标:糊的是那块屏幕,压在那块上的所有窗口一起糊(这是有意的:宁可多糊)。
  • 同时只能有一个眼睛进程占 127.0.0.1:13201;每套 DSH 家目录各有一份 eye-runtime.json(插件会给它传 EYE_RUNTIME),参数不串。
  • 灵敏度三档只是放宽/收紧判据(quiet ×1.6、normal ×1.0、sensitive ×0.6),不是保证:sensitive 会更灵但也更容易吵,quiet 更安静但会漏掉同窗口内的局部大改。

许可

MIT

Comments

Loading…