@wjunhere/dsh-web-providers

DeepSeek Harness（DSH）ctx.web 的搜索与抓取 provider，内部是有序兜底链：

• 搜索：exa → tavily → jina-search，注册为 provider id dsh-search；
• 抓取：jina → tavily extract，注册为 provider id dsh-fetch。

链对外仍是单个 provider，web_search / web_fetch 工具不变，模型无感知；前一后端失败 （403/404/超时/空正文）自动换下一个。

解决什么问题

• DSH 内置 web_fetch 走 DeepSeek Fetch API，目标站点不可达或被反爬时统一返回 HTTP 404； Jina Reader 由 Jina 侧抓取并转 Markdown，能覆盖维基百科、GitHub raw、Hacker News 等站点。
• 官方 DeepSeek 搜索是一次完整模型调用；Exa 是纯检索 API，语义召回更适合英文技术内容。
• 官方 Exa provider 用精确 peer 版本，DSH 小版本升级就会在启动时被禁用；本包用范围 peer + 兜底链， 不再依赖单一后端是否可用。

安装

在 DSH profile 目录（例如 ~/.dsh/profiles/<name>）安装：

npm install @wjunhere/dsh-web-providers

把包加进 package.json 的 dsh.profile.bundles：

{
  "dsh": { "profile": { "bundles": ["...", "@wjunhere/dsh-web-providers"] } }
}

再在 profile 的 cordis.patch.yml 里 pin 两个 provider：

- id: web
  name: "@deepseek-ai/dsh-web"
  config:
    searchProvider: dsh-search
    fetchProvider: dsh-fetch

重启 DSH 生效。

配置

凭据默认从启动环境的 EXA_API_KEY / TAVILY_API_KEY / JINA_API_KEY 读取，也可以写在 config 里（优先级高于环境变量）。

- insert:
    - id: web-providers
      name: '@wjunhere/dsh-web-providers'
      config:
        search:
          order: [exa, tavily, jina]   # 搜索链顺序
        fetch:
          order: [jina, tavily]        # 抓取链顺序
        exa:
          apiKey: ''                   # 空则读 EXA_API_KEY
          baseURL: https://api.exa.ai
          proxyUrl: ''
          searchType: auto             # auto / keyword / neural
          highlightsPerResult: 1
          timeoutMs: 20000
        tavily:
          apiKey: ''                   # 空则读 TAVILY_API_KEY
          baseURL: https://api.tavily.com
          proxyUrl: ''                 # 大陆网络通常需要
          searchDepth: basic           # basic / advanced
          extractDepth: basic
          numResults: 5
          maxContentChars: 100000
          timeoutMs: 20000
        jina:
          apiKey: ''                   # 空则读 JINA_API_KEY
          baseURL: https://r.jina.ai
          searchBaseURL: https://s.jina.ai
          proxyUrl: ''
          timeoutMs: 30000
          maxContentChars: 100000
          minContentChars: 50
          allowAnonymous: false

行为

• 搜索链：Exa 返回 sources[]（无 highlight 的结果被丢弃）；Tavily 返回 title/url/content （content 截 500 字符当 snippet）；Jina Search 返回 title/url/description。 任一成功即返回，全部失败时报 WEB_PROVIDER_ERROR 并附每段失败原因。
• 抓取链：Jina 返回 { url, statusCode: 200, body: { kind: 'text', content } }，正文前带标题； 失败（非 2xx、空正文、正文过短、拦截页）后回退 Tavily Extract 的 raw_content。
• 两链都遵守调用方 AbortSignal，每段有独立超时。

限制

• Tavily Extract 对反爬站点同样可能失败（如 Reddit）；这类只能走浏览器路径。
• Exa 需要 API key；Jina 匿名模式只有 20 RPM（带 key 500 RPM）。

开发

npm install
EXA_API_KEY=... TAVILY_API_KEY=... JINA_API_KEY=... \
JINA_PROXY_URL=http://127.0.0.1:7897 TAVILY_PROXY_URL=http://127.0.0.1:7897 \
node test/providers.mjs

测试直接打真实 API，覆盖每个后端和两条兜底链，没有 mock。

License

MIT