订了机票,却忘了同步预算和日程:AI智能体的"完成病"
论文提出INTERLOCK框架,用类型化完成图刻画AI智能体长任务中证据、决策、效果的关联,避免局部正确但整体遗漏。通过双重审查和智能体裁判筛选训练数据,两款Qwen3.6模型在多个外部基准上表现显著提升。
你有没有遇到过这种情况:让下属订机票、改日程、通知相关人员,结果他兴高采烈地说"机票订好了",然后就没有然后了。日程表没更新,预算表还是旧的,该通知的人一个都没通知到。
这不是偷懒,这是一种很常见的认知局限。人会把"做了一件正确的事"和"完成了整件事"混为一谈。
现在这个问题出现在AI身上了。而且更隐蔽。
一、一个订机票引发的连环漏洞
来自北京大学、港科大(广州)、清华大学和美团的研究者们,在一篇名为《INTERLOCK》的论文里讲了这样一个场景:你让一个AI智能体帮你处理一个差旅审批任务,批准会议出差、订机票、同步更新日程和预算。
AI做了什么?它读懂了政策,订对了机票,这一步完全正确。
然后呢?日程表没更新。预算记录没同步。它停在了"订票成功"这一步,没有意识到这只是任务的三分之一。
研究者管这种现象叫"局部正确,但整体不完整"(locally correct but incomplete)。
这个说法听起来有点学术,但本质上很好懂。就像你让室友"把客厅收拾一下,顺便把垃圾带下楼、通知快递员改地址",结果他真的把客厅收拾得一尘不染,然后理直气壮地说"我做完了",垃圾和快递的事全忘了。他没有说谎,他真的做了一件事,但他对"任务"的理解只覆盖了其中最显眼的那一块。
为什么现在的AI智能体会这样?
因为现有的训练方式,往往是针对单个指令做对错判断的。模型学会了"收到订票请求就去订票",但它没有被系统性地训练出"订票这个决策会牵连出哪些后续义务"的意识。这些后续义务可能要等很多轮对话、很多次读写操作之后才会暴露出来,而模型往往已经"忘了"最初的那个决策还留着尾巴没处理。
这就是这篇论文要解决的核心问题:怎么让AI在完成长链条任务时,不丢失那些"滞后生效"的义务?
二、把任务拆成一张"关系网"
研究者的解法,叫做INTERLOCK。核心思路是给每一个任务画一张图,叫"类型化完成图"(typed completion graph)。
简单来说,这张图记录了三种关系。
第一种叫接地关系(Grounding),连接的是"证据"和"决策"。比如公司的差旅政策、历史出差记录,这些就是证据,它们决定了"能不能批这次出差"这个决策该怎么下。
第二种叫耦合关系(Coupling),这是一种更复杂的约束,涉及多个决策或结果必须共同满足某个条件。比如订机票这件事,既要符合预算上限,又要符合会议时间,这两者不能单独满足,必须联合起来考虑。
第三种叫实现关系(Realization),连接的是"决策"和它应该触发的所有下游效果。订了机票之后,日程要改、预算要扣、相关人员要通知,这些都是这个决策"应该"产生的涟漪,一个都不能少。
这三种关系放在一起,构成了判断一个任务是否"真正完成"的标尺。
这里有个细节值得展开说。实现关系里的每一个"效果"节点,论文给它定义了四个属性:公共依据(这个义务从哪条规则来的)、对象范围(这个义务适用于哪些对象,比如所有订单还是只有未拆分的订单)、适用条件(什么情况下这个义务才生效)、以及结果条件(最终必须满足什么才算完成)。
这四个属性合在一起,相当于给每一条隐藏的义务都标好了"触发开关"和"验收标准"。这样AI就不能再含糊其辞地说"我觉得做完了"。
如果不这样精细地拆分会怎样?论文的案例研究给出了答案。在一个库存恢复计划的任务里,AI的第一次尝试分配了970个HX单位,但实际可用的只有770个,它误以为提前一批货物到达能凭空增加总供应量,实际上提前到达只是改变了到货时间,不是改变了总量。这种错误如果没有被结构化的规则捕捉到,很可能被当成"合理的规划差异"蒙混过关。
三、三个agent各管一摊,互不串通
光有一张关系图还不够,这张图怎么变成真实可执行的任务?
INTERLOCK用了三个专门的AI角色来做这件事。
第一个叫环境构建者(World Builder),负责搭建任务的初始工作空间,把政策文件、历史记录、待处理的资源都准备好,但故意留下冲突和未解决的问题,不能提前帮忙把答案拼好。
第二个叫任务设定者(Task Setter),负责把这张关系图翻译成人类能看懂的任务描述,同时写一份私密的"交付合同",详细列出必须完成的产出和条件。
第三个叫规则编译者(Rubric Compiler),负责把这些要求转换成可以自动打分的评价标准。
这三个角色各自只能看到和自己职责相关的信息,规则编译者看不到答案,任务设定者不能泄露计算结果。这种设计有点像考试出题,出题人、监考人、阅卷人分开,互相不能通气,防止题目和答案提前泄露给考生或者评分标准被人暗中放水。
如果不这样分开会怎样?很可能出现"既当裁判又当运动员"的情况,同一个agent既写任务又定评分标准,很容易不自觉地把评分标准设计得更容易通过,或者把答案的痕迹留在任务描述里。
规则编译器*:负责将任务要求转换为可自动验证评价标准的AI角色,它参考完成图来确保每个必须完成的效果都对应一条可检查的打分规则。
四、两道审查关卡,一道查"有没有漏",一道查"能不能查"
即便三个角色各司其职,生成出来的任务还是可能出问题。比如原始需求里有一条重要规则,结果被整条图漏掉了,或者评分标准里写的东西其实根本无法从公开材料里验证。
所以INTERLOCK加了两层独立审查。
第一层叫源覆盖审查(source-coverage review),它从最原始的任务需求出发,一路追踪这些需求有没有完整地体现在关系图、工作空间、任务描述和评分标准里。换句话说,它问的问题是:"原来要求的东西,有没有半路走丢?"
第二层叫公共输入审查(public-input critic),它只看AI智能体实际能接触到的材料,也就是公开的任务描述和工作空间,检查评分标准是不是真的能从这些材料里验证出来。它问的问题正好相反:"评分标准里写的东西,有没有凭空编造,实际上根本查不到依据?"
这两层审查方向相反,恰好形成互补。一个防遗漏,一个防虚构。
这让我想起财务审计里的"勾稽关系"检查,既要核对账目有没有漏记一笔收入,也要核对已经记的每一笔账有没有真实的凭证支撑。少了任何一边,账目都可能出问题,要么漏记要么虚记。
只有两道审查都通过,而且在一次真实执行测试中正常运行完毕,评审结果完整,质量评估也没问题,这个任务才算被正式接纳进入训练数据池。
五、让AI自己给自己批改作业,但要带工具去查证
任务生成好了,接下来要让AI智能体真的去执行,然后判断它做得好不好。
这里论文用了一个叫agent-as-judge(智能体当裁判)的方法。不是让一个语言模型光看文字记录来打分,而是让这个裁判agent拥有终端访问权限,它可以主动去读文件、写验证脚本、跑计算,用真凭实据来核对结果。
论文做了一个对照实验,很说明问题。一种裁判只能看文字描述的初始和最终工作空间差异(LLM-as-judge),另一种裁判可以主动查文件、写脚本核实(agent-as-judge)。在完全相同的候选执行记录、相同的评分规则下,用agent裁判筛选出来的训练数据,训练出的模型在四个外部测试集上全部表现更好。
具体数字是这样的,用agent裁判筛选训练出来的模型,在AutomationBench上的任务通过率是18.33%,而用纯文字裁判筛选的只有13.17%,相差超过5个百分点。
这个差距从哪里来?裁判agent平均每条记录多写了大约1250个token的验证内容,相当于多跑了一些检查脚本、多读了一些文件。
这就像验收装修工程,一种验收方式是拿着照片在办公室里对比"装修前"和"装修后"的样子,另一种验收方式是拿着卷尺和水平仪到现场实地测量。后者当然更费时间,但量出来的墙是不是真的垂直,照片糊弄不了。如果只靠照片验收,很可能漏掉那些"看起来没问题,实际早就歪了"的细节。
只有裁判判定所有必须满足的标准都通过了,这条执行记录才会被标记为"接受",进入后续训练环节。
六、训练数据从哪来?AI用自己的"及格作业"训练自己
接下来是整个流程里比较巧妙的一步。研究者没有用别人的示范数据去训练模型,而是让每个模型用自己生成的、被判定为合格的执行记录来训练自己。
拒绝采样微调*:先让模型针对同一个任务多次尝试,只保留被判定为完全合格的那些尝试结果,再用这些结果去微调模型本身的方法。
研究者分别对Qwen3.6-27B和Qwen3.6-35B-A3B这两个模型做了这件事。每个任务让模型尝试5次,从3278个任务里一共产生了32780次尝试,排除掉410次没有正常结束的执行,剩下32370条记录。每个模型从自己产出的记录里挑出8957条合格的,用大约1.54亿个token的监督信号来微调自己。
这个设计思路背后有个很朴素的判断。与其让模型学别人的解题风格,不如让它学自己"做对的时候是怎么做的"。这有点像一个运动员通过回放自己最佳状态的比赛录像来纠正动作,而不是去模仿别人的动作,因为别人的身体条件和习惯未必适合自己。
效果怎么样?两个模型在四个完全没见过的外部测试集上都有提升。
Qwen3.6-27B在AutomationBench上的任务通过率提升了4个百分点,在JobBench Main和Easy两个子集上的加权分数分别提升了4.35分和6.64分,在Harvey LAB上的标准通过率提升了3.89个百分点。
Qwen3.6-35B-A3B的提升幅度是AutomationBench提升4.5个百分点,JobBench两个子集分别提升3.2分和4.31分,Harvey LAB提升4.16个百分点。
这几个测试集分别对应三种完全不同的实际工作场景,自动化跨应用操作、专业职业文书撰写、法律文件处理。训练数据来自虚构的合成任务,但提升能迁移到这些完全独立构建的真实任务基准上,说明这种"完成度优先"的训练方式学到的不是某个具体领域的套路,而是一种更通用的、关于"怎样把事情做全"的能力。
七、任务越丰富,迁移效果越好
研究者还做了一个很有意思的消融实验,固定训练数据总量不变,只改变任务涉及的领域数量,看看是训练数据的"数量"重要,还是"多样性"重要。
他们把训练领域数量从16个逐步增加到32、64、128个,训练用的轨迹总数始终保持8957条不变。结果是,领域覆盖越广,四个测试集上的表现就越好。AutomationBench的任务通过率从16个领域时的14.83%一路涨到128个领域时的18.33%。
这说明什么?说明同样数量的训练样本,如果分布在更多元的业务场景里,比堆在少数几个场景里更有价值。因为INTERLOCK的接地、耦合、实现这三种关系,在不同行业场景里的具体表现千差万别,财务领域的耦合约束和物流领域的耦合约束长得完全不一样,见得越多,模型对"什么叫完成"这件事的理解就越不容易局限在某一种套路里。
这就像学做菜,如果你只在一个菜系里反复练习同一道菜一百遍,你很可能只是记住了这道菜的固定步骤,而不是真正理解了"火候""调味"这些普适的厨艺原理。但如果你用同样的练习时间,去尝试二十种不同风格的菜,反而更容易抓住那些跨菜系通用的东西。
八、长任务到底有多长
论文还专门统计了INTERLOCK生成的任务和现有的ClawGym数据集相比,执行起来到底有多"长"。
统计结果显示,INTERLOCK的任务平均需要84293个记录token,27.63轮对话,42.1次工具调用。而ClawGym的任务平均只需要14940个token,11.92轮对话,14.76次工具调用。比例大概是5.64倍、2.32倍和2.85倍。
中位数的差距更直观,INTERLOCK任务的对话轮数中位数是25轮,ClawGym是9轮,工具调用次数中位数是40次,ClawGym是12次。
这个统计结果其实是在回答一个很实在的问题,INTERLOCK生成的任务,是不是真的需要AI持续地、反复地和环境打交道,才能完成,而不是随便应付几下就能糊弄过去的。数据给出的答案是肯定的。
九、几个具体翻车现场
论文里还给了几个具体的案例对比,同一个模型,同样的输入材料,两次独立尝试,一次没做完整,一次做完整了,放在一起看特别直观。
库存恢复计划那个案例前面提到过。第二次尝试里,模型正确识别出可用库存只有760个单位(不是970个),把生产计划限制在共享托盘的实际容量3250个以内,完整排除了一个无法拆分的230件订单(而不是硬塞进去拆分成210和20),并且自己选定的6800美元加急成本也正确计入了贡献利润的计算。
另一个案例是培训排班。某工厂需要安排二月份的安全培训,涉及6名应到岗的主管和培训师。第一次尝试漏掉了两名应到岗人员,把课程安排在了12点到14点,但实际开放的时间窗口只有早上8点到11点半,还给一名资格证已经在2月12日过期的讲师安排了2月16日的课。第二次尝试把这些全部纠正了,6人全部覆盖,时间窗口对齐到9点半到11点半,讲师排在了证书还有效的2月11日。
这些案例读下来会发现一个共同点,出问题的地方往往不是模型"不会算",而是算对了局部,却没把这个局部结果放回整个任务的约束网络里去检验。
十、这个方法从哪里来,又会往哪里去
把INTERLOCK放在整个研究脉络里看,会发现它站在两条已有研究路线的交汇点上。
一条路线是任务合成,比如更早的ToolLLM负责扩大工具调用的覆盖面,APIGen在生成数据时加入格式和语义校验。另一条路线是环境生成,比如AgentGen、EnvScaler致力于把合成能力从单纯的工具数据扩展到完整的可执行环境。
INTERLOCK的不同之处在于,它选择的组织单元不是"工具"也不是"环境",而是一个任务里所有条件性义务的完整集合。这个选择决定了它既要管生成,又要管验证,还要管哪些数据值得被用来训练。
论文里提到的几个后续可能的方向也值得留意。作者在附录里专门讨论了一种"行为诊断协议",通过对比模型在"上游决策"和"下游效果兑现"之间的一致性,量化一种叫跟进率(follow-through rate)的指标,这实际上是在尝试把"完成病"这件事变成一个可以持续监测、持续量化的问题,而不只是定性描述。
Q&A
Q1:INTERLOCK是什么?
A:INTERLOCK是一个面向AI智能体长周期任务训练的框架,它把每个任务表示成一张包含证据、决策、效果关系的完成图,确保合成任务不会遗漏隐藏的后续义务,再用完成度严格筛选的执行记录来微调模型。
Q2:INTERLOCK为什么要用三种关系来描述任务?
A:因为任务完整性依赖三类不同的约束,接地关系确保决策有证据支撑,耦合关系确保多个决策联合满足条件,实现关系确保决策触发的所有下游效果都被执行,三者缺一不可。
Q3:用INTERLOCK训练过的模型效果提升了多少?
A:两个Qwen3.6模型在三个完全独立的外部测试集上均有提升,AutomationBench任务通过率提升4到4.5个百分点,JobBench加权分数提升3.2到6.64分,Harvey LAB标准通过率提升3.89到4.16个百分点。