该问用户什么？把"提问"当成一笔跨任务的投资
你有没有这种体验：让 AI 助手帮你订了半年机票、酒店、会议室，它还是每次都问一遍"靠窗还是靠走道"？或者反过来更糟——你明明从没告诉过它你不坐红眼航班，它就自作主张帮你订了早上六点的航班，还觉得自己挺聪明。
这两个现象其实是同一个问题的两面：长期服务你的 Agent，到底该知道你什么。
知道得太少，每次都像陌生人；拼命追问，用户烦得想卸载。现有的两条技术路线各踩一个坑：个性化方法从历史行为里挖偏好，可用户从没说过的事，你挖一万年也挖不出来；澄清式提问（clarification）倒是会问，但它只看"这个问题对当前任务有没有帮助"——订酒店的时候问座位偏好？对这单没用，不问。于是永远不问。
arXiv 2610.31107 这篇论文（2026 年 10 月 22 日提交）就是冲着这个缝隙来的。作者 Yiqi Wang 等人提出的核心观点一句话就能说清：一个偏好的价值，不该只算它对眼前这一单的贡献，该算它在未来所有任务里被复用的累计收益。你订酒店时看似无用的座位偏好，会在之后每一次订机票、出差、开会报名时被反复用到——单次收益约等于零，累计收益远大于提问成本。
📖 核心摘要
论文形式化了一个新问题 Active Preference Acquisition（APA，主动偏好获取）：Agent 在长期服务中，该主动问用户哪些缺失的偏好？核心工具是 Prospective Personalization Value（PPV，前瞻个性化价值）——一个缺失偏好的期望累计未来效用增益，减去提问的努力成本和隐私披露风险。方法上，APA 用 Agent 自己的任务求解器在公共任务原型上算每个候选偏好的反事实增益，按任务族的期望复用次数加权，再用自适应贪心策略在预算内选问题。在自建的 ActiveWebPref 基准（16 个任务族、隐藏但可查询的用户画像、精确效用函数）上，20 个任务的长程设定里，34.4% 的有价值缺失偏好属于"单次不划算、累计才回本"的摊销型偏好，APA 抓住了其中 80.3%，而当前任务价值评估只抓住 5.1%。坦率讲，主对比上 APA 对最强基线的优势只有 0.091 个净效用点（Holm 校正后 p=0.0615，没过 0.05），真正的价值在于它把"提问的跨任务价值"这个被忽视的维度立成了一个可度量的问题。属于问题定义漂亮、实验诚实、工程上还早的一类论文。
论文信息
- 标题：Learning What to Ask for Tomorrow: Active Preference Acquisition for Long-Term Personalized Web Agents
- 作者：Yiqi Wang, Zizhi Zeng, Jiaqi Zhang, Yiqun Duan, Mingkai Zheng, Taotao Cai
- arXiv：2610.31107（2026 年 10 月 22 日 v1，cs.CL）
- 代码：https://github.com/xiaoqi-7/Active-Preference-Acquisition
🧠 问题：提问的价值被算错了
先把问题掰开。长期服务的 Web Agent 手里有一个用户画像 \(P_t\)（一组属性-值对，比如座位=靠窗），但真实用户有一个更大的隐藏画像 \(P^{*}_u\)。两者的差集，就是偏好缺口——那些用户有、但你不知道的属性。
三条现有路线都填不上这个缺口：
| 路线 | 代表工作 | 为什么填不上 |
|---|---|---|
| 被动个性化 | 从历史行为推断画像 | 用户从没表达过的偏好，历史里根本没有证据 |
| 长期记忆 | Mem0、LongMemEval 等 | 解决的是"怎么存好用好已知信息"，不解决"该学什么未知" |
| 当前任务澄清 | Clarification / VoI 方法 | 只按当前任务收益估值，单次不回本就永远不问 |
第三条是本文真正要打的靶子。当前任务 VoI 给一个偏好 \(m\) 打分是这么算的：
——知道 \(m\) 能让眼前这个任务 \(\tau_t\) 的效用涨多少，减去提问成本。而论文提出的 PPV 是：
——从下一个任务到地平线 \(T\)，知道 \(m\) 能让所有未来任务的效用累计涨多少，减去一次性付出的提问成本。
差异看着 subtle，但论文用 Proposition 3.1 给出了一个很干脆的结论：如果某个偏好在每个单次任务上的收益都低于提问成本，当前任务估值就永远不会问它——不管它被复用多少次。而 PPV 只要累计复用收益盖过成本就给正分。论文给这类偏好起了个名字：摊销依赖（amortization-dependent）——单次不回本，摊销才回本。
图 1 直观展示了这个场景：会话 \(t\) 用户订酒店，座位偏好 \(m\) 未知。对当前任务，知道 \(m\) 的价值约等于零，澄清式 Agent 不会问。但之后的订机票、会议出行、商务差旅每一个都要选座位——当期望累计收益超过一次性提问成本时，早问一次、处处复用就是划算的。
这里我想停一秒说句公道话：你可能会想，"等真要订机票的时候再问不就行了？"论文对这个问题有正面回应——即使等到订机票那一刻，单次预订的收益也可能盖不住提问成本，只有跨很多次预订的复用才盖得住。所以"等到需要再问"这个直觉策略（论文里就是 Current-task VoI 基线）存在系统性的盲区。这个盲区有多大？后面实验给出了量化：20 个任务的地平线上，有价值缺失偏好的三分之一以上都掉在这个盲区里。
成本这边论文也拆得比我预想细。提问成本 \(C_{\lambda}^{\beta}(m)=\lambda C_{\text{ask}}(m)+\beta C_{\text{risk}}(m)\) 包含两项：用户努力的提问成本（被拒绝也要付），和披露风险（成功说出某个敏感属性才付，由属性敏感度决定）。隐私在这里不是一句口号，是实打实进入决策公式的一项。
🏗️ 方法：四个模块的流水线
图 2 是 APA 的完整流水线：① 偏好缺口发现，从历史和画像里提出候选缺失偏好（酒店预算、餐饮口味、座位偏好）；② 未来复用建模，估计各任务族的分布和期望出现次数；③ 前瞻价值估计，用相关性 × 影响力 × 期望次数给每个候选打分；④ 预算化获取策略，扣除提问成本和披露风险后决定 Ask / Defer / Skip。图中座位偏好被问了，餐饮偏好因为餐厅任务罕见被推迟，政治倾向这种曾被拒绝的属性直接跳过。答案写入持久画像供未来任务复用。
四个模块里，真正有技术含量的是第三个，我拆开讲。
缺口发现（Module A）：一个 LLM 从公共属性目录里挑出最多 \(K=10\) 个未知字段作为候选。规则不少——排除已知、排除已拒绝、不猜值、偏好可复用的持久属性而非临时细节。这一步论文报告的 gap 召回是 0.500，精度 1.000（精度高靠的是目录校验）。也就是说，一半的缺口它压根没想到要问。有意思的是后面消融显示：直接把完整候选目录喂给它，NU 几乎不变（6.755 → 6.753）——瓶颈不在候选发现上。
未来复用建模（Module B）：LLM 从可见历史估计一个任务族分布 \(\hat{P}(f\mid H_t)\)，期望次数 \(\hat{n}_f=(T-t)\hat{P}(f\mid H_t)\)。比如订过两次会议酒店的用户，大概率之后要订机票。注意这里预测的是任务族的粗分布，不是具体事件——不去猜"用户下个月要去北京开会"，只猜"机票类任务还会出现几次"。这个抽象层次选得聪明，具体事件没法预测，族级频率是可以统计的。
前瞻价值估计（Module C）：这是论文的核心贡献。对每个候选 \(m\) 和任务族 \(f\)，估计两个量：
- 相关性 \(R(m,f)\)：公共原型任务里，效用项引用到 \(m\) 的比例
- 影响力 \(I(m,f)\)：这些原型任务上知道 \(m\) 带来的平均反事实效用增量
然后线性聚合：
关键在于反事实增益怎么算：用 Agent 自己的任务求解器 \(D_\tau\)，在公共原型任务上跑两遍——一遍带 \(m\) 的假设值，一遍不带，看效用差。每个任务族 3 个原型（共 48 个），由公共任务生成器产生，与被评估用户无关。这一步刻意绕开了"让 LLM 打重要性分"的做法——LLM-Importance 基线就是这么干的，后面实验会看到它死得很难看。用求解器算而不是让 LLM 猜，好处是增益估计有决策论的根基：\(G_q(m;\tau,P_t)=\sum_z q_{P_t}(z)\,\Delta_\tau(m,z;P_t)\)，其中 \(q_{P_t}\) 是对未知属性取值的公共有限信念。
预算化获取策略（Module D）：自适应贪心。按边际分数除以成本排序选问题，每问一个就用新答案重算所有候选的边际价值（消掉冗余信息，比如舱位和座位偏好相关），直到没有正分候选或预算耗尽。三档动作：Ask（问）、Defer（留着下次再评估）、Skip（永久排除，如被拒绝过的敏感字段）。作者很坦白地说没有近似保证——目标函数的单调性和子模性都没证。这个诚实程度值得肯定。
🧪 实验场地：ActiveWebPref
现有基准测不了这个问题。LongMemEval、LoCoMo 考的是"历史里有的信息能不能回忆起来"，PrefEval、PersonaMem 考的是"说过的偏好能不能遵守"——没有一个奖励主动获取缺失信息。于是作者自建了 ActiveWebPref：
- 5 个域、16 个任务族：旅行（机票/酒店/地面交通/会议行程）、餐饮、购物、日程、工作会议
- 每个合成用户 27 个属性，带完整的元数据：稳定性（稳定/半稳定/临时）、敏感度、提问成本、相关任务族、是否初始可见、是否可查询
- 53.1% 的有用属性初始隐藏；高敏感属性占 11.1%，问了会被拒绝且照样扣成本
- 精确效用函数：每个任务有结构化候选集，效用由隐藏画像直接算出来，不需要 LLM 裁判
- 180 个测试用户（90 IID + 90 未见偏好组合），每人 20 个未来任务
- 设计了干扰项（看着像个人偏好但永远不影响效用的属性）、高价值高成本属性、相关属性等陷阱
所有 LLM 角色统一用 Qwen3-8B（温度 0），价值积分和任务求解是确定性的。默认配置 \(B=0.5\)、\(\lambda=0.5\)、\(\beta=0.25\)、\(T=10\)、\(K=10\)。
说实话，第一眼看到"合成基准"我心里就打了折扣。但转念一想，这个问题没有别的解法——你要度量"一个没问的问题值多少钱"，就必须知道隐藏画像的真实值和精确效用，真实用户和真实网站给不了这个。作者在局限里也认了：没有真人盲测、没有真实网站部署、模拟器把结构化属性和文本绑定得太干净。这笔交易（可控性换真实感）在这类决策论研究里是标准操作，可以接受，但要记住结论的外推边界。
📊 结果一：主对比——赢了，但赢得不多
先看主表（180 用户，\(T=10\)）：
| 策略 | CTU ↑ | AC ↓ | NU ↑ | 问题数 | 无用率 ↓ |
|---|---|---|---|---|---|
| Ask-Nothing | 6.289 | 0.000 | 6.289 | 0 | – |
| Ask-Everything | 7.263 | 3.977 | 4.918 | 13.472 | 0.728 |
| LLM-Importance | 7.080 | 2.455 | 5.631 | 11.294 | 0.741 |
| Current-task VoI (public) | 6.853 | 0.379 | 6.664 | 2.044 | 0.314 |
| APA | 7.109 | 0.680 | 6.755 | 3.717 | 0.387 |
| Oracle Future-VoI | 7.265 | 0.400 | 7.058 | 2.122 | 0.029 |
（NU = CTU − λ·AC − β·RC，即净效用；Regret 相对 Oracle。）
三个数字值得停下看：
全问还不如不问。 Ask-Everything 的原始效用 CTU 是全场最高的 7.263，但问了 13.5 个问题、七成多是无用问题，扣完成本净效用 4.918，被"啥都不问"的 6.289 反杀。这个数字我建议所有做主动提问的产品经理都看看——无差别地了解用户，是在烧用户的耐心给自己挖坑。让 LLM 自己判断"什么最值得知道"（LLM-Importance）同样翻车，净效用 5.631。
APA 赢了最强基线，但差距不大。 6.755 对 6.664，差 0.091（95% CI [0.019, 0.174]，Holm 校正后 p=0.0615）。看到这个 p 值我愣了一下——没过 0.05。作者在文里处理得很老实：主对比上这是"最高均值但统计边缘"，真正的显著优势要等摊销分析（RQ2）和成本匹配对比才出现。这种不藏 negative 结果的写法，我是真的 appreciated。
成本匹配下赢得干脆。 把四个启发式基线的提问预算压到和 APA 实际花费一样多再比：APA 6.755 对 Random-k 6.234、Frequency 6.400、LLM-Importance 6.188，全部 Holm p≤0.0025。Impact-only 追到 6.683 但仍显著落后（p=0.0025）。花同样的钱，APA 选的问题确实更好。
📊 结果二：摊销盲区——这篇论文最硬的一块
主对比是全用户平均，会稀释掉 APA 真正的目标人群。RQ2 换了个问法：那些摊销依赖的偏好（单次收益低于成本、累计收益超过成本），各家能抓到多少？
在 \(T=20\) 时，预算可行的有价值缺失偏好里，34.4%（198/576）是摊销依赖的——这个比例本身就说明盲区不是边角料。各家表现：
| 策略 | 获取率（T=20） | 首次使用前获取 | 归因增益 |
|---|---|---|---|
| Current-task VoI (public) | 5.1% (10/198) | 0.0% | 0.017 |
| APA | 80.3% 的获取率（159/198） | 46.5% | 0.307 |
| Oracle Future-VoI | 44.9% (89/198) | 0.0% | 0.369 |
Current-task VoI 几乎全军覆没（5.1%），完美印证了 Proposition 3.1 的预测。APA 抓住八成，其中近一半是在首次使用之前就主动问了。
有个反直觉的细节：Oracle 比 APA 保守得多。理论上最优的策略只获取 44.9% 的摊销偏好，而且一个都不提前问——它的动态规划在平局时偏好推迟。作者的解读很到位：目标不是最大化获取率，是选出让复用真正回本的那部分。APA 抓得多但归因增益反而低（0.307 对 0.369），说明它在这个子集里有过度获取或选得不准的成分——它的价值估计与 Oracle 的秩相关性只有 Spearman 0.296。这是论文里少见的"作者自己给自己挑刺"的段落，好感度再加一。
在至少有一个摊销偏好的用户群体里（T=20 时 120 人），APA 对 Current-task VoI 的整序列净效用优势是 0.263，Holm p=0.021，统计上站得住；T=10 时 0.148，p=0.074，站不住。跨任务估值的红利要时间来兑现——这也符合直觉，地平线越长，能摊销的复用越多。
📊 结果三和四：效率与地平线
RQ3 回答" selective 提问值不值"：APA 用 27.6% 的问题数恢复了 84.2% 的全问效用增益。在扫过的预算-惩罚网格上，APA 的 CTU 包络在平均成本区间 [0.680, 1.844) 内压过所有可行基线配置。少问四分之三的问题，拿回八成多的收益——这个交换比很能打。
RQ4 把地平线从 \(T=1\) 拉到 \(T=20\)：APA 对 Current-task VoI 的平均净效用优势从 -0.011 涨到 0.175（端点增长 0.186，95% CI [0.057, 0.339]，Holm p=0.033）。\(T=1\) 时是负的——只有单任务时 APA 只能在任务到达前行动，反而吃亏。随时间拉长优势单调转正，摊销假设得到直接验证。
🔬 消融：拆开看，有个尴尬的发现
| 变体 | NU | 无用率 |
|---|---|---|
| APA（完整） | 6.755 | 0.387 |
| No FutureDist（均匀任务族分布） | 6.760 | 0.342 |
| Next-Task Only（只看下一任务） | 6.683 | 0.315 |
| No Cost（λ=0） | 6.498 | 0.557 |
| No Risk（β=0） | 6.727 | 0.397 |
| Gold Candidate Schema（完整候选池） | 6.753 | 0.378 |
两个干净的结论：去掉成本项最伤——问题数涨到 1.79 倍，NU 掉 0.257（Holm p=0.0075），成本建模是防过度提问的刹车。去掉风险项，披露风险从 0.058 涨到 0.092，说明风险项确实在改变"问什么"。
尴尬的发现是第一行：学出来的任务族分布换成均匀分布，NU 反而高了 0.005（不显著）。Module B 那个"从历史预测未来任务分布"的模块，在这个基准上没有可度量的贡献。作者给了两个未验证的解释：基准的任务族设计太规律，均匀分布本来就是强近似；Qwen3-8B 的预测能力撑不起更好的估计。我自己更信第一个——ActiveWebPref 的任务序列是生成器按规律造的，真实用户的任务分布肯定没这么好猜。但不管哪个解释成立，事实就是：这篇论文方法里最有"预测"味道的模块，目前是装饰性的。
还有一个我喜欢的结果（Observation 3）：按属性类别拆获取行为，APA 问了 28.8% 的未知稳定字段、0.0% 的干扰项；LLM-Importance 问了 100% 的干扰项。那些"看起来很个人"但对任务效用毫无影响的字段（比如最喜欢的颜色），让 LLM 打分它会照单全收，用求解器算反事实增益它就是零分。这两个 100% 和 0% 的对比，比任何平均数都更直观地说明了"用决策论工具算价值"和"让 LLM 凭感觉打分"的差别。
💡 我的判断
这篇论文值不值得读？我的答案分层。
最值钱的是问题定义。"提问的价值要跨任务算"这个视角，在 clarification 文献里基本是空白——Dong et al. 那条线（ACL 2026）已经把当前任务内的 VoI 做得很精致，但地平线始终是本轮对话。APA 把地平线拉到"未来 N 个异构任务"，并且用摊销依赖这个概念把两种估值的分歧点精确定位了出来。Proposition 3.1 数学上是初等的（作者自己承认），但初等不等于不重要——它把一个模糊的直觉变成了可度量的 regime。长期记忆赛道卷"怎么记住"，这篇卷"该学什么"，问题问对了。
方法的骨架是决策论的正统，血肉还很薄。反事实复用估值的核心思路（自己的求解器 + 公共原型 + 期望复用加权）干净且可复用，不依赖 LLM 的 Importance 幻觉。但贪心选择没有近似保证，价值估计与 Oracle 的秩相关只有 0.2 出头，学出来的任务分布不如均匀先验——每一步单看都能用，合起来的精度天花板明显。它是这个方向的第一版合理工程，不是终局。
实验的诚实度是加分项。主对比 p=0.0615 不显著就写不显著；Oracle 比自己保守就承认获取率不是目标；Module B 没用就承认没用。在一个普遍把边缘显著写成"显著优于"的领域里，这种写法值得鼓励。
如果你在做 Agent 产品，这篇论文有两个可以直接拿走的东西：一是把提问成本和隐私披露显式建模进提问决策，别让产品经理拍脑袋决定"要不要加个引导问卷"；二是反事实估值这个技巧——想知道一个用户字段值不值得收集，拿你自己的推荐/决策逻辑在历史任务上跑个 A/B 模拟，比任何用户研究问卷都便宜。
没解决的问题也很清楚：真实用户的任务分布漂移、偏好随时间过期（论文只提了一句可以接 preference-update 方法）、跨交互累积的预算（现在单次预算 0.5 直接卡死了 26 个本可摊销的偏好）、以及最根本的——所有结论都活在合成世界里。从 ActiveWebPref 到一个真实产品里的 A/B 实验，中间隔着的不只是工程量。
一句话收尾：一个个性化的 Agent，不该什么都打听，该打听的只是那些复用得起提问成本的事。把每次提问当成一笔投资来做尽调——这个视角，我觉得会慢慢变成长期 Agent 的标配。
觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注我