(本文阅读时间:16 分钟)


编辑 Word 文档是日常办公中最常见的任务之一。从调整字体、段落,到修改表格、图片和图表,很多操作都需要细致、准确的格式设置。如今,AI agent已经开始直接操作办公软件,于是有了一个新的问题:它们能在多大程度上理解用户的编辑要求,并可靠地完成修改?


根据自然语言指令编辑 Word 文档,其实包含两类不同的问题。第一类是用户把要求说得很明确,比如调整段落间距、应用列表格式、设置形状效果或更新图表。这时,agent要做的是理解要求,并把它准确地转化为对应的编辑操作。第二类是用户只说一句“照前面的格式来”或“和文档其他部分保持一致”。这时,agent还得先读懂文档上下文,判断应该参考哪个对象、修改哪些属性。前者主要考察怎样执行修改,后者还要考察怎样确定修改要求。


围绕这两类问题,微软亚洲研究院、韩国科学技术院(KAIST)和西安交通大学的研究员们提出了两个 Word 文档编辑评测基准:WordEval 和WordInferBench。WordEval 从明确的编辑要求出发,检查单项操作是否正确完成,以及多项操作合并到一条指令后能否依然可靠。WordInferBench 则逐步减少指令中给出的信息,通过描述式、参照式和推断式三种任务,考察agent能否利用文档上下文,补全用户没有明说的要求。两者遵循相同的评测原则:直接读取Word 中的文档属性,在各自的评测范围内检查目标属性是否全部正确,同时确认应当保留的内容和格式没有被改动。其中,WordEval的论文已被NeurIPS 2026收录。


相关信息已整理至文末,欢迎点击了解更多技术详情。


图 1. WordEval 与 WordInferBench 概览。两者都从一项要求已完整说明的编辑操作出发。图中 WordEval 示例来自真实任务,WordInferBench 示例用于说明任务设计。


WordEval:看起来对,不等于真的对



WordEval先关注明确指令下的编辑能力:目标对象和所需修改都已给出时,agent能否真正把操作做完?


只看文档外观,很难回答这个问题。比如,用户要求把三个段落改成项目符号列表,agent可能只是在文字前输入了项目符号字符。页面看起来像列表,但在Word 内部,它们仍然是普通段落。类似的情况还有很多,比如把图片永久裁剪后再替换回去,可以得到和 Word 裁剪功能相同的视觉效果,但原图从此无法再调整;在页眉里直接输入标题,看上去也和插入一个关联文档 Title 属性的内容控件差不多,可实际却完全不同。


因此,WordEval 检查的不只是外观。它还要确认三件事:操作是否作用于正确的对象,属性值是否准确,以及保留性检查覆盖的属性是否保持不变。


图 2. WordEval 如何得出判定。图中回放了评测中的六个真实案例。评测器在Word 中打开agent保存的文档和参考文档,读取请求涉及的属性并逐项比较。在第一个案例中,两份文档都显示了项目符号,但Word 在agent的输出中读不到列表结构。


让 Word 亲自当“考官”:642 个任务,15 类功能


WordEval共包含 642 个任务,覆盖文本、段落、列表、表格、图片、图表、SmartArt和页面结构等 15 类 Word 功能。评测器在 Microsoft Word 中打开每份结果文档,通过Word 自动化接口直接读取相关元素及其属性。必要时,它还会检查保存后的文件,确认修改确实被保留了下来。


为了让指令、参考答案和评测标准保持一致,研究员们让每个任务都从同一份规范生成。输入构建器先创建起始文档,参考执行器再通过 Word 自动化接口执行规定操作,得到预期的文档状态。指令和验证项也来自这份规范,包括要检查哪些元素和属性、属性应取什么值,以及哪些已有属性必须保持不变。Agent可以自由选择工具和操作步骤,但最终结果都要接受同一组检查。


图3. WordEval 的任务构建流程。同一份编辑规范定义输入文档、指令和检查项。参考执行器在 Word 中对输入文档执行规定操作,生成参考文档(绿色步骤)。组合任务中的每项编辑都关联到使用相同命令的原子任务。


单独能做对,组合就出错


WordEval不仅考察单项编辑是否准确,还考察多项编辑放进同一份文档后会遇到哪些额外挑战。它包含两类任务:546 个原子任务(atomic task)和 96 个组合任务(compositional task)。每个原子任务只考察一项操作,比如修改段落间距、裁剪图片或给形状添加效果。组合任务则把多项编辑放进同一条指令,这些编辑有的存在明确的先后依赖,有的会通过目标对象或页面布局相互影响。两类任务使用相同的操作集合和同一套Word 原生评测标准,组合任务中的每项操作都对应一个使用相同命令的原子任务。通过这种对照,研究员们可以观察到,单独执行能成功的操作,放进同一份文档后是否还能完成。


研究员们评测了八个agent系统,总体通过率在44.5% 到 87.1% 之间。所有系统在组合任务上的通过率都低于原子任务,差距为3.2 到 19.1 个百分点。更值得注意的是,原子任务表现相近的系统,组合能力可能相差很大。Gemini 3.8 Flash 和 GLM-5.2 的原子任务通过率分别为57.9% 和 58.2%,几乎持平,组合任务通过率却分别只有49.0% 和 39.6%。在涉及定位、对齐等布局交互的八个请求中,GLM-5.2通过了所有对应的原子任务,却只完成了其中两个组合任务。可见,单独能完成的操作,放进同一份文档后不一定都能做对。


图4. 八个agent系统与人类基线在原子任务和组合任务上的通过率(按任务统计)。所有agent系统和人类基线在组合任务上的通过率都更低。


文件打不开、属性改错:失败都出在哪儿?


WordEval把失败分成了两类。一类是没能生成可评测的文档,另一类是在有效的 Word 文档中出现编辑错误。有的agent没有输出文件,或者生成了无效、损坏的文档;有的文件能正常打开,却存在属性值错误、元素缺失、改错对象,或本应保留的属性被意外改动等问题。研究员们进一步分析了 Claude Code(Opus 5)的 59 份错误输出,发现即使agent选中了正确的形状,也可能应用错误的阴影或映像类型。


这说明,完成编辑不等于生成一个看起来相似的页面。每项操作都必须准确作用于 Word 的实际文档结构,多项修改之间还必须相互兼容。


图5. 失败分析。(A)各系统未通过任务的输出状态,占全部 642 个任务的比例。Missing output 表示未提交文档;Invalid output 表示 Word 无法打开文档,或文档未通过 OOXML 验证;Incorrect output 表示文档有效,但未通过某项编辑要求或保留性检查。(B)Claude Code(Opus 5)的59 份错误输出(A 中加粗部分)的不匹配类型,每个案例归为一种类型。


WordInferBench:用户没说出口的要求,AI 能补上吗?



WordEval表明,即使编辑要求已经很明确,把自然语言转化为正确的 Word 操作也不容易。而在另一类常见请求中,具体参数根本不会直接给出,需要从文档中寻找。用户不会逐项列出字体、字号、缩进、边框和底纹,只会说“和上面那个保持一致”或“把这里的格式统一一下”。这时,agent要先读懂文档上下文,判断该参考哪个对象、修正哪些差异,然后再动手编辑。WordInferBench 考察的正是这种能力。


WordInferBench 包含 280 个基础编辑实例,每个实例配有三种指令,共形成 840 个任务变体。


  • 描述式指令(descriptive):把每项修改要求都说清楚,agent主要负责准确执行。

  • 参照式指令(referential):指出目标应与哪个对象保持一致,但不逐项列出属性,agent需要读取并复制参照对象的属性。

  • 推断式指令(inferential):只指定要编辑的目标,agent要自己在文档中找到合适的参照,并决定怎么修改。


三种指令对应同一份输入文档和同一个目标结果,实际要完成的编辑完全相同。因此,研究员们可以观察到,指令提供的信息越来越少时,agent的表现会怎样变化。


图 6. WordInferBench 的任务构建流程。研究员们在真实文档中找到两个类型和格式相同的对象,将目标对象的属性重置为默认值。原始文档作为参考答案(绿色步骤),同一项编辑配以三种指令,明确给出的信息依次减少。


从真实文档出发:参照可能远在另一页


在来自 Common Crawl 收集的真实 Word Source:http://weixin.sogou.com/weixin?type=2&query=%E5%BE%AE%E8%BD%AF%E7%A0%94%E7%A9%B6%E9%99%A2AI%E5%A4%B4%E6%9D%A1+NeurIPS%202026%20%7C%20%E4%BB%8E%E2%80%9C%E7%85%A7%E5%81%9A%E2%80%9D%E5%88%B0%E2%80%9C%E6%87%82%E4%BD%A0%E2%80%9D%EF%BC%9AAI%20%E8%83%BD%E6%94%B9%E5%A5%BD%E4%BD%A0%E7%9A%84%20Word%20%E6%96%87%E6%A1%A3%E5%90%97%EF%BC%9F

Related posts

黎曼猜想被用 Claude 证明了

黎曼猜想被用 Claude 证明了

人人都是产品经理
AI交易雪崩:纳指单日狂泻1261点,这次市场不再相信“故事”

AI交易雪崩:纳指单日狂泻1261点,这次市场不再相信“故事”

钛媒体
Muse负责人首次公开对谈:七个月,从玩具到1000万下载

Muse负责人首次公开对谈:七个月,从玩具到1000万下载

钛媒体
字节20亿元对腾讯5亿美元:AI办公入口之争

字节20亿元对腾讯5亿美元:AI办公入口之争

界面新闻
腾讯姚顺雨团队:Hy4仍有很大改进空间,计划训练更大规模模型

腾讯姚顺雨团队:Hy4仍有很大改进空间,计划训练更大规模模型

界面新闻
小米米家扫振电动牙刷 2 开售:4 区漏刷识别 + 180 天续航,国补后 149 元

小米米家扫振电动牙刷 2 开售:4 区漏刷识别 + 180 天续航,国补后 149 元

IT之家