DolphinBench 提出以任务完成度评估 AI（人工智能） 智能体记忆，并要求同时报告成本与延迟
arXiv 上一项新预印本研究提出 DolphinBench（智能体记忆评测基准），不再用对话问答判断记忆好坏，而是看智能体能否真正完成任务：每个角色约 50 万 token（词元）历史消息、200 项任务，作者用“带历史成功、不带历史失败”的方式逐项核验。
该基准还要求提交方在准确率之外披露总成本与延迟，指向记忆系统在效果与开销之间的取舍。
研究原始来源可核对
事实与证据边界
论文由 Soumil Rathi、Deshraj Yadav、Taranjeet Singh 提交（arXiv:2609.24971，v1 于 2026 年 9 月 21 日提交，v2 于 9 月 22 日修订，共 6 页、2 幅图，属计算与语言（cs.CL）与人工智能（cs.AI）方向）。
作者称，现有记忆基准多面向对话问答，问题本身已提示需要检索某条事实、甚至提示是哪一条； 且多数基准只要求准确率，允许记忆系统为拿高分做出不合理的成本或时间取舍。 DolphinBench 设定三类知识工作角色，每个角色约 50 万 token 用户消息，评估依赖该历史信息的任务；
每个角色 200 项任务均通过“有相关历史则成功、无相关历史则失败”的方式验证。 基准要求所有评测同时报告总成本与延迟。 数据集与评测代码已公开（原文以 this URL 指代）。 作者称尚无现有记忆基准同时满足这三点。
分析判断
该工作的价值在于把记忆评测从“能不能答对”推向“做完任务要花多少钱、多少时间”，这与实际部署中记忆系统的成本结构直接相关。 需要注意的是，这是 arXiv 预印本，未经同行评审，其任务设计、验证方式和结论尚未经过独立复现，不宜据此判断任何具体产品的记忆能力。
后续观察信号
- DolphinBench 的 200 项任务具体覆盖哪些知识工作场景
- 成本与延迟指标如何计算，是否可跨系统比较
- 数据集与评测代码的公开范围与使用许可