OpenDS-World：真实开放网络环境下的深度搜索评测基准

论文：Deep Search in Real-World Web Environments arXiv: 2610.30181（2026-10-19 提交，v1） 作者：Xiaomin Yu、Hongliang Chen、Zhe Huang、Shilin Yan、Chengwei Qin 等 26 人 机构：HKUST(GZ)、FDU、UW、IC、NTU、Stanford、SJTU、Yale、NJU、UCSD、NUS、HKU、SAP、Microsoft Research 等 关键词：Deep Search、Web Agent、Benchmark、多模态证据、交互式访问、长程任务

一、TL;DR

本文提出 OpenDS（Open-Web Deep Search）任务 及其基准 OpenDS-World：200 个需要在真实开放 Web 上完成的多步深度搜索任务。每个任务从一段真实视频出发，要求智能体自主搜索、访问、处理并串联分布在多个独立来源中的证据，最终给出唯一事实性答案。基准覆盖 4 种信息模态、42 种文件格式、7 类交互访问类型，全部经过独立人工验证保证证据有效、答案唯一。在统一工具环境与执行协议下评测 12 个前沿模型，最强的 GPT-6 Astra 仅 39.0% 准确率，而人类在 1,000 次独立尝试中也只达到 21.1%。分析表明：更多工具调用和更长执行时间并不带来更高准确率，工具协调与长程搜索管理仍是核心瓶颈。

二、背景与动机

Deep Search 的目标是让 AI 智能体自主获取、分析并整合信息，解决复杂的信息检索与研究任务。现有评测（如静态检索、多轮问答、Web 导航类基准）虽然各自覆盖了部分能力，但没有系统覆盖真实 Web 环境的复杂证据获取需求。真实 Web 的复杂性体现在三个相互交织的方面：

  1. 多样模态（Diverse Modalities）：信息以文本、图像、音频、视频等形式呈现；
  2. 异构格式（Heterogeneous Formats）：信息分布在 HTML、PDF、XML、Parquet 等不同结构与处理要求的资源中；
  3. 交互式访问（Interactive Access Requirements）：部分证据无法直接检索，需要页面导航、界面操作、参数更新或制品转移等交互操作才能获取。

这三类属性共同构成了真实 Web 中"发现 → 交互访问 → 资源处理 → 跨源推理"的完整证据获取链条，而已有基准未能同时覆盖这些互联的挑战。

真实 Web 信息源的三个互补属性

Figure 3：一个 Our World in Data 页面同时包含（A）多样模态（文本+可视化图表）、（B）异构格式（HTML、CSV、JSON、ZIP 下载包）、（C）交互访问（区域选择、时间索引、声明式 API 查询）。获取相关证据需要在这些互联的表示与源状态之间导航。

三、OpenDS 任务定义

Open-Web Deep Search（OpenDS） 被定义为一种事实性问答任务：给定一个事实性问题和可用的初始线索，智能体必须自主探索开放 Web，持续地搜索、访问、处理并串联分布在具有多样模态、异构格式和交互访问要求的各信息源中的证据，最终确定一个唯一且可验证的事实性答案。

关键特点：

  • 所需证据可能分布在不同网站、文档、多媒体资源和在线应用中，其具体位置和访问方式不预先告知；
  • 智能体必须根据当前已掌握的信息决定后续搜索目标，选择合适的访问与处理方式，通过跨源推理逐步建立证据之间的关联；
  • 相比仅关注"信息发现 + 跨源推理"的既有任务，OpenDS 强调在真实 Web 环境中跨模态、跨格式、跨访问机制的持续证据获取与整合过程。

四、OpenDS-World 基准构建

基准包含 200 个任务，横跨 8 个领域：文化、日常生活、科学、经济、历史、自然、社会、技术。每个任务以一段包含真实世界信息的视频作为起点。

OpenDS-World 深度搜索示例

Figure 2：一个 OpenDS-World 示例，串联了视听识别、虚拟参观导航、文档检查和结构化数据检索等多个 Web 来源。

4.1 三阶段构建流程

Stage 1：真实世界锚点（Real-World Anchor） 专家标注者从 8 个领域中选取 500 个候选公开视频，联合分析连续视频帧与音频内容，识别出一个可验证的初始锚点实体。锚点的识别必须依赖视频的视听内容（防止退化为页面级文本搜索），且核心实体必须唯一对应一个有效的 Wikidata 条目。视频随基准归档分发，按 ID 与任务匹配。

Stage 2：开放 Web 证据扩展（Open-Web Evidence Expansion） 标注者基于当前节点构造搜索查询，用 Google Search 获取候选信息源，逐一检查并选取与当前节点有明确语义关联、证据可验证的来源，同时兼顾模态、格式、访问类型的多样性。从选中来源中抽取新实体作为下一节点，递归扩展直至到达唯一、稳定的终端节点（即参考答案）。每个节点必须由多个独立 Web 来源独立 corroborate，保证整条证据链的多源支撑。

Stage 3：问题反转（Question Inversion） 将完整证据链反转为一组相互依赖的约束条件：中间节点不显式暴露，而是被转化为由前序路径证据导出的间接指称描述。单条线索不直接暴露目标实体，但所有线索的组合逐步收窄候选空间并唯一确定答案。因此无法通过直接检索显式线索解题，必须恢复中间实体之间的潜在对应关系并沿证据链推进。

4.2 人工验证（Human Verification）

由 10 名独立审核者对每个候选任务进行验证，分两个层面：

  • 证据有效性：核查证据链上的实体、语义关系与最终答案的事实准确性，要求有真实、可访问、可独立验证的 Web 证据支撑；将原始来源仅视为多个参考之一，交叉核对其他独立来源；验证相邻节点间的每次跳转均有显式证据支撑；对初始锚点额外确认其可从视频视听内容唯一识别、正确映射到 Wikidata 条目，且无法从视频页面文本直接获得。
  • 任务有效性：核查问题清晰度、约束一致性与答案唯一性——关键线索准确对应证据链信息、每条约束有可验证证据、约束间无事实或逻辑冲突、约束整体唯一确定答案。

凡存在事实错误、证据不足、关系不一致、问题歧义、答案不唯一或违反构建原则的任务直接剔除，最终保留 200 个任务。

4.3 人类测试（Human Testing）

为评估实际解题难度，200 个问题被分为 10 组（每组 20 题），每组由 5 名独立求解者作答，共 50 名参与者、合计 1,000 次独立尝试。求解者只能使用常规 Web 浏览器（如 Chrome），禁止使用任何 LLM 系统；不设单题时限，可主动终止；需提交最终答案、总耗时与 0–5 级主观难度评分。

结果：

  • 整体人类准确率仅 21.10%（1,000 次尝试中 211 次答对）；
  • 任务层面：115 题（57.5%）至少被一名求解者解出，85 题（42.5%）无人解出；仅 1 题被全部 5 人解出，仅 29 题（14.5%）被多数（≥3 人）解出；
  • 投入：50 名参与者平均花 12.92 小时完成 20 题（中位 9.44 小时，合计约 646 小时），平均每次尝试约 38.8 分钟；
  • 主观难度：均值 3.884/5，65.5% 的尝试被评为难度 4 或 5，43% 被评为最高难度 5。

这些数据表明 OpenDS-World 对可自由使用浏览器的人类求解者也极具挑战性。

4.4 任务统计

  • 200 个任务共标注 787 个证据链条目（Web 页面与在线资源），平均每任务 3.94 个；
  • 模态覆盖：文本 99.5%、图像 44.5%、视频 35.5%、音频 16.0%；82.5% 的任务涉及至少 2 种模态；
  • 格式覆盖：HTML 98%、MP4 35%、PDF 31%；96.0% 的任务涉及至少 2 种格式；条目级 HTML 占 56.5%，其余横跨音频、图像、结构化数据、压缩包及长尾格式（共 42 种）；
  • 访问类型覆盖：超媒体跳转（N）67.0%、制品转移（X）60.0%、时间索引（T）47.5%、参数化状态更新（P）42.0%；95.5% 的任务涉及多种访问类型。

OpenDS-World 任务多样性与统计

Figure 5：每条证据链条目按模态、资源格式、访问类型三维标注，共覆盖 4 种模态、42 种格式、7 类访问类型。底部为 200 个任务的模态覆盖（a）、格式覆盖（b）、交互访问类型覆盖（c）。

4.5 七类访问要求分类法（Table 3）

代码 访问类型 定义
O Immediate Observation（即时观察） 在当前状态下直接观察目标证据，不改变源状态
N Hypermedia Transition（超媒体跳转） 通过页面内/跨页面、跨文档的离散导航改变位置
P Parameterized State Update（参数化状态更新） 通过输入或选择显式参数改变源状态
T Temporal Indexing（时间索引） 沿源的时间维度定位内容
G Graphical State Manipulation（图形状态操纵） 通过与图形/空间表示的交互暴露信息
Q Declarative Query（声明式查询） 通过结构化查询语言或机器接口表达信息需求
X Artifact Transfer（制品转移） 将承载信息的制品从远程环境转移到智能体可处理的环境

标签不互斥，例如检索一份可下载报告可能同时涉及 N（跟链接）、X（传文件）、O（读内容）。

五、实验设置

5.1 模型

评测 12 个前沿模型：GPT-6 Astra、GPT-5.6 Sol、Claude Opus 5.5、Claude Fable 5.1、Gemini 3.8 Flash、Qwen3.8-Max、Qwen3.8-Flash、DeepSeek-V4.1-Flash、DeepSeek-V4-Pro（纯文本）、Kimi K3、GLM-5.3-Flash、GLM-5.3（纯文本）。所有模型使用相同的任务输入、系统提示、工具环境与执行预算。

5.2 Harness（统一执行框架）

提供三类核心工具：

  • Search Tool：文本、图像、视频搜索，定位潜在信息源；
  • GUI Tool：Web 导航、内容阅读、点击、输入、滚动、截图，访问与操作动态页面；
  • Other Tools：视频帧检查与字幕提取（覆盖输入视频与外部视频）。

统一预算：每个样本搜索阶段限 3,600 秒，全部工具共享 100 次调用上限，任一达到即终止搜索。若因超时、预算耗尽或未能生成有效答案而终止，系统进入无工具的收尾阶段，仅基于已收集证据生成最终答案。

5.3 评测

以 Qwen3.8-27B 作为 LLM Judge，基于参考答案与模型答案的语义等价性判分；主指标为答案准确率（ACC），同时报告总 token 消耗与墙钟时间作为资源成本指标。

难度分级依据人类测试结果：Low（≥2 人解出，54 题）、Medium（恰好 1 人解出，61 题）、High（无人解出，85 题）。

六、主要实验结果

6.1 总体准确率（Table 1）

模型 Low (54) Medium (61) High (85) Overall (200)
GPT-6 Astra 59.26 40.98 24.71 39.0
Claude Opus 5.5 53.70 40.98 25.88 38.0
Gemini 3.8 Flash 51.85 34.43 28.24 36.5
Claude Fable 5.1 48.15 32.79 24.71 33.5
GPT-5.6 Sol 46.30 31.15 14.12 28.0
Qwen3.8-Max 40.74 26.23 15.29 25.5
GLM-5.3-Flash 42.59 16.39 16.47 23.5
DeepSeek-V4.1-Flash 33.33 13.11 17.65 20.5
Kimi K3 27.78 14.75 12.94 17.5
GLM-5.3 (T) 22.22 6.56 12.94 13.5
DeepSeek-V4-Pro (T) 27.78 11.48 3.53 12.5
Qwen3.8-Flash 22.22 13.11 4.71 12.0

要点：

  • 最强模型 GPT-6 Astra 也仅 39.0%，在 200 题上失败 122 题（失败率 61%）；
  • 12 模型平均准确率随难度显著下降：Low 39.66% → Medium 23.50% → High 16.76%；
  • 排名随难度变化：GPT-6 Astra 领跑 Low、Medium 与 Claude Opus 5.5 并列，而 Gemini 3.8 Flash 在 High 组最佳（28.24%）；
  • 更多 token/时间不意味着更高准确率：GPT-6 Astra 与 GPT-5.6 Sol token 消耗几乎相同，准确率相差 11 个百分点；Gemini 3.8 Flash 消耗约 5.22 倍于 GPT-6 Astra 的 token 但准确率更低；DeepSeek-V4-Pro 墙钟时间约为 GPT-6 Astra 的 2.39 倍，准确率仅 12.5%。

6.2 成本分析（Cost Analysis）

  • GPT-6 Astra：平均每任务 51.05 次工具调用、18.66 分钟，准确率最高；
  • GPT-5.6 Sol：52.42 次调用但仅 8.99 分钟；
  • 反面案例：Qwen3.8-Flash 平均 89.94 次调用/任务，DeepSeek-V4-Pro 与 GLM-5.3 分别耗时 44.47 与 43.36 分钟，准确率却低得多；
  • 中位运行时间：GPT-5.6 Sol 7.22 分钟、GPT-6 Astra 14.35 分钟，而 DeepSeek-V4-Pro 45.28 分钟、GLM-5.3 51.15 分钟，多模型呈明显长尾；
  • 结论：搜索成本取决于工具使用规模，更取决于模型能否及时终止低收益轨迹。随难度上升，所有模型 Low→Medium 调用量上升，但 Medium→High 出现分化——有的继续加调用，有的平台期或下降，反映模型特定的搜索策略与执行约束。

6.3 工具使用分析（Tool-Use Analysis）

真实 Web 搜索中的工具使用模式

Figure 7：(a) Search / GUI / Other 三类工具调用分布；(b) 每任务视频与字幕获取调用（区分输入与外部来源）；(c) 相邻工具步骤的类别转移矩阵。

  • GPT-5.6 Sol 最偏 Search：74.50% 调用为搜索，GUI 仅 17.77%；Claude Opus 5.5 与 Qwen3.8-Flash 则分别将 51.52% 与 49.42% 的调用投入 GUI；
  • 工具构成不能解释性能差异：后两者 GUI 占比相近，准确率却是 38.0% vs 12.0%；
  • 视频/字幕获取调用多也不代表更好：DeepSeek-V4.1-Flash 平均 11.78 次/任务 vs Claude Opus 5.5 的 4.67 次，准确率反而 20.5% vs 38.0%；
  • 类别内转移占主导：Gemini 3.8 Flash 的 Search→Search 达 84.63%，Qwen3.8-Flash 的 GUI→GUI 达 84.97%，说明模型常进行连续的同类型操作。

6.4 错误分析（Error Analysis）

  • 自然终止率：GPT-6 Astra 69.0%、GPT-5.6 Sol 65.0%、Claude Opus 5.5 60.5%；Qwen3.8-Flash 仅 6.5% 自然终止，80.0% 的任务撞满 100 次调用上限；
  • 自然终止 ≠ 答对：GPT-6 Astra 自然终止率 69.0% 但准确率仅 39.0%；
  • 工具失败的时间成本不成比例：失败调用仅占 2.83%–9.42%，却消耗 19.27%–61.90% 的工具执行时间；GPT-6 Astra 为 6.34% / 42.57%；
  • 失败后的决策：跨模型最常见的是"换工具"——Claude Opus 5.5 约 83%、Gemini 3.8 Flash 约 81%、GPT-5.6 Sol 约 79%；Kimi K3 与 GLM-5.3 更倾向同工具改参数重试（约 38% 与 37%）。

6.5 预算分析（Budget Analysis）

  • 至少撞到一个预算上限的任务比例差异巨大：Claude Opus 5.5 16.5%、GPT-5.6 Sol 22.0%、GPT-6 Astra 25.5%，而 Qwen3.8-Flash 81.5%、DeepSeek-V4.1-Flash 78.0%、GLM-5.3 73.0%、DeepSeek-V4-Pro 72.5%；
  • 两类预算暴露不同执行模式：Gemini 3.8 Flash 与 Qwen3.8-Flash 主要是"调用受限"（call-only 37.0% / 80.0%）；Claude Fable 5.1、Kimi K3、GLM-5.3 更多是"时间受限"（time-only 28.0% / 29.5% / 41.0%）；双预算同时耗尽每模型至多 1.0%；
  • GPT-6 Astra 与 Claude Opus 5.5 很少耗尽预算，但准确率仍不足 40%——说明除了执行效率，信息源选择、证据整合与停止决策同样关键。

6.6 按访问类型的表现（附录 D.2）

GPT-6 Astra 在 7 类访问要求中的 6 类领先，其中 Artifact Transfer（X）46.67%、Declarative Query（Q）61.54%；Gemini 3.8 Flash 在 Temporal Indexing（T）上以 46.32% 反超。声明式查询（Q）类跨模型波动最大：0.00%–61.54%，凸显模型在结构化信息访问能力上的巨大差异。

6.7 难度组的证据构成差异（附录 B.5）

相比 Low 组，High 组音频覆盖从 7.4% 升至 22.4%，ZIP 从 1.9% 升至 12.9%，超媒体跳转（N）从 61.1% 升至 72.9%，制品转移（X）从 53.7% 升至 67.1%；而图像（48.1%→38.8%）与视频（40.7%→30.6%）覆盖下降。即更难的任务更依赖音频证据、压缩包、深层导航与文件转移。

七、结论与意义

OpenDS-World 的核心贡献：

  1. OpenDS 任务：将深度搜索评测从静态检索推进到真实开放 Web 环境，要求跨模态、跨格式、跨访问机制的端到端证据获取与整合；
  2. OpenDS-World 基准：200 个经严格人工验证的任务，覆盖 8 领域、4 模态、42 格式、7 类访问类型，且提供真实人类基线（21.1%）与难度校准；
  3. 系统评测：12 个前沿模型在统一工具与预算下的全面对比，揭示工具使用、搜索成本、终止行为、失败恢复上的显著策略差异。

对领域的启示：

  • 当前智能体距离"可靠的真实 Web 深度研究"还很远——最强模型 39%，且有 42.5% 的任务连人类都难以解出；
  • 堆调用量与堆时间不是出路，关键在于信息源选择、工具协调、低收益轨迹的及时终止、以及失败后的恢复策略；
  • 工具失败次数少但吞噬大量时间，提示需要更好的失败检测与恢复机制；
  • 论文附录还讨论了该基准作为自然长程任务与递归自我改进（recursive self-improvement）试验台的潜力。

八、个人点评

  • 评测设计扎实：视频锚点 + Wikidata 唯一映射 + 问题反转 + 多源 corroboration + 双重人工验证 + 独立人类测试，pipeline 完整，有效规避了"题面可直接检索答案"的常见漏洞；
  • 与 BrowseComp 系基准的差异化在于显式覆盖交互访问与异构格式（Parquet、ZIP、虚拟参观等），更贴近真实研究型工作流；
  • 值得注意的是基准为 live Web 环境，可复现性依赖证据随时间的稳定性，论文通过归档输入视频缓解了一部分，但外部 Web 证据漂移仍是长期维护挑战；
  • 人类基线（21.1%）低于最强模型（39.0%）这一点很有意思——受试者禁用 LLM 且单人作战，说明该基准上"模型 vs 人类"的比较需要谨慎解读，更像是"模型 vs 受限人类"的互补参照。

arXiv ID: 2610.30181 论文链接: https://arxiv.org/abs/2610.30181