同一个 GPT-5.5,放进不同的系统里,做具身任务的表现可以相差悬殊。在 EmbodiedBench 上,直接使用 GPT-5.5 的平均成功率是 56.9%;模型参数一个不改,只让它周围的系统持续进化,这个数字变成了 72.7%。
差别来自模型之外:哪些信息会被送到模型面前,哪些经验会被保留下来,决策又如何变成机器人的物理动作。真正在环境里执行的具身策略,从来不只是一个模型,而是模型加上它所在的整套系统。
大模型在机器人系统中的角色一路上移:从高层规划器,到 Code-as-Policy 中把感知与控制原语组合成程序的决策核心。但围绕模型的那套系统,大多仍是人工搭建、部署后固定不变的。已有工作往往只改进记忆、技能、交互 harness 中的某一个组件;执行中暴露的问题也多半只用于评测或人工调试,同样的弱点会在一个又一个回合里重复出现。
(相关资料图)
由此引出一个问题:具身智能体能否把自己的整套系统当作策略,诊断出系统在哪里限制了行为,再从具身经验中进化对应的部分?
来自新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、上海交通大学、云蝶科技等机构的研究团队提出了 RoboFoundry,并将其定位为首个把智能体系统本身形式化为「自进化的系统即策略」(Self-Evolving System-as-Policy)的具身智能体框架:基座模型保持冻结,进化发生在模型周围的上下文系统、技能系统与执行接口上,并借助一层共享的语义接口在不同机器人之间复用。
实验中,RoboFoundry 在 EmbodiedBench 上让五个基座模型全部取得提升;在长程记忆基准 RoboMemArena 上,任务成功率比所有基线至少高出 39.0%;在 LIBERO-PRO 的扰动测试中,比 CaP-Agent0 高出 243.8–679.7%。在真实机器人上,展示了跨机器人、跨任务的零样本迁移,以及部署后的在线进化。
图 1:RoboFoundry 总览。包含 “执行 — 反思 — 修复 — 晋升” 的进化闭环;三个基准的结果,以及接入前后六项系统能力均有大幅提升。
模型冻结,系统进化:
像维护代码库一样改写自己
RoboFoundry 不更新基座模型的参数,被优化的是支撑模型完成任务的系统。这套系统以文件形式存在,模型可以像开发者维护代码库一样,用 cat、grep 查看,用 add、modify、delete 修改。系统分为两层:服务当前任务的任务级系统,和跨任务、跨本体持续保留的通用系统
进化以内外两层循环进行:内循环执行任务、记录执行轨迹;外循环根据轨迹提出修改,再交给后续执行检验。修改作用在两个 “进化面” 上:
两个进化面之下还有一层共享语义接口。语义层只处理跨本体共享的任务逻辑;执行层把决策适配到具体机器人上,后端可以是冻结的 VLA(如 π0.5)、编码智能体生成的函数,或 CuRobo 等视觉运动接口。由于进化作用在语义一侧,在一台机器人上进化出的系统,换一套执行适配就能在另一台机器人上复用,也可以接到不同的基座模型上。
图 2:RoboFoundry 方法框架。(a) 内循环执行任务并产生轨迹;(b) 通用系统以文件目录的形式,提供可复用的规则与技能;(c) 外循环诊断能力缺口:能修复当前任务的修改更新任务级系统,进一步通过其他任务上保持检验的修改,进而晋升进通用系统。
有诊断、有验证的进化闭环,
而不是无约束的自我重写
执行中出现的失败或低效,会先被归因到六种能力之一:感知、推理、规划属于决策能力,保存、检索、利用属于记忆管理能力。系统只在对应的进化面上提出修改;只有修复了当前任务的失败,修改才会被提交。
RoboFoundry 先把成功的修改抽象成候选规则,再找出其他任务中同类能力缺口的修复记录,回放这些任务修复前的状态,让应用该候选规则的系统重新给出修复方案。随后由系统自身充当验证者,把新方案与当时实际奏效的修复比较打分。只有平均得分不逊于原有修复,候选规则才会被写入通用系统。
图 3 是一次进化过程示例,在 EB-Habitat 的空间关系子集上,基座模型为 GPT-5.5,共经过六次候选评估:
图 3:EB-Habitat 空间关系子集上的一次进化轨迹(GPT-5.5),下方是各次候选的 held-out 检查结果。
被接受的修改会落成文件里的具体改动。例如针对 “把水槽里的清洁剂全部移到沙发上” 这条指令,系统规则被改写为:
新规则里没有出现清洁剂、水槽、沙发等任何具体物体,因此可以跨任务共享。整个进化过程则记录在 .robofoundry/ 目录里,论文称之为 “进化账本”(Evolution Ledger),可以回溯查看。
五个基座模型全部提升,
基座之间的差距明显缩小
EmbodiedBench 包含四个环境中的 1,128 个任务,覆盖高层语义规划与底层动作执行。所有设置使用相同的任务流和交互预算,从第一个计分回合就开始进化,进化过程中的每一条轨迹都计入成绩。
注:EmbodiedBench 四个环境的平均成功率(%),提升值与论文图 1 一致;因舍入,个别提升值与两列直接相减可能相差 0.1。
消融实验显示,通用进化是关键:以 Qwen3.7-Plus 为基座时,完整版比只保留任务级修改的 Lite 版相对高出 11.2%。把上下文预算从 4K 扩到 16K 后,原始模型的成绩有升有降;在 16K 设置下,RoboFoundry 依然让参与测试的四个基座相对各自基线再提升 7.9%–13.1%。
长程记忆与分布偏移:
进化不只是提示词
RoboMemArena 是长程记忆基准,共 26 个任务,分为搬运、遮挡、计数、顺序四类。以 Qwen3.7-Plus 为基座的 RoboFoundry 取得了 53.5% 的任务成功率(TSR)和 72.8% 的累计成功率(CSR),四类任务全部领先。它的 TSR 比所有基线至少高出 39.0%,对比对象中包括借助 Qwen3-VL-8B-Instruct 管理记忆的 PrediMem。
在这一基准上,进化修改的不只是提示词,还有决定 “保留什么状态、检索什么证据、如何呈现给模型” 的机制。例如,把任务进度转成当前子目标,以及明确规定 “尝试过的指令不能作为物理成功的证据”。
图 4:RoboMemArena 长程记忆结果,每项为 TSR / CSR(%)。
LIBERO-PRO 用来检验系统在物体布局和任务设定变化下的鲁棒性。在不使用特权物体位姿的方法中,RoboFoundry 的平均成功率最高,为 91.9%,Harness VLA(CC)为 87.8%;它比 CaP-Agent0 高出 243.8%–679.7%(相对值)。
进化后的系统还会把改进分成两种时间尺度:可复用的组合技能被长期保留进共享系统;某次试验中临时生成的恢复逻辑,只留在当次试验中。
图 5:LIBERO-PRO 扰动测试结果,每项为位置扰动 / 任务扰动下的成功率(%)。† 表示使用特权物体位姿。
真机上零样本迁移、边做边进化
真机实验要回答的是:通用的 RoboFoundry 系统能否迁移到物理机器人上,并在部署后继续进化。实验中,RoboFoundry 以 GPT-5.5 为基座模型,以 π0.5 为操作执行后端;为保证公平,RoboFoundry 与单独使用的 π0.5 在对应任务上使用同一个微调 checkpoint。RoboFoundry 起始时不做任何任务级的系统适配;每个任务测试 10 次,用于在线进化的试验也计入成功率,系统更新只发生在两次试验之间。
视频链接:https://mp.weixin.qq.com/s/uJw9E0-rEnribpib08C6kg
图 6:真机进化与迁移。(a) 套娃任务中先后加入对准与进度追踪;(b) 叠毛巾技能迁移到未见过的毛巾;(c) 宇树 G1 上的语义导航。
图 7:长程化学实验中,任务状态记录连接六个相互依赖的子任务。
结语:
从 “训练更强的模型”,
到 “让模型所在的系统持续变强”
从语言模型规划,到代码即策略的执行,再到系统即策略的进化,大模型在具身系统中的角色一直在向上层迁移。RoboFoundry 给出了一种具体做法:基座模型保持不变,由执行轨迹决定系统的哪一部分需要修改;每一次修改都要先在当前任务上验证能修复失败,只有在其他任务的同类能力缺口上同样被验证有效的改进,才会沉淀为通用能力,服务后续任务。当基础模型越来越强,具身智能的进步也许不只来自 “训练一个更强的模型”,也来自 “让模型所在的系统持续变强”。
作者信息
本研究由新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、云蝶科技与上海交通大学的研究者合作完成。共同第一作者为梁靖松(新加坡南洋理工大学,博士生)和廖书昊(北京航空航天大学,博士生)。通讯作者为吴文峻(北京航空航天大学,教授)、李万华(新加坡南洋理工大学,南洋助理教授)与吕辰(新加坡南洋理工大学,副教授)。
上一篇:阿尔比奥尔:我正在上教练课程;那不勒斯战黄潜会很开放-当前热讯
下一篇:最后一页
河南许昌:收费站腾地晒粮暖心服务助农忙,东区,农忙,收费站,许昌市,河
“苏超”南通队队长李贤成伤情公布,昨天好多现场球迷都哭了,苏超,骨裂
证券之星消息,10月12日钯主力期货(PDM)合约收盘上涨0 29%,报274 9
马来西亚棕榈油局MPOB:马来西亚9月棕榈油产量为2116950吨,环比增长16
贵州:聚焦“i茅台”等白酒消费重点场景持续推进支付便利化建设人民财