近日，中国科学技术大学本科校友、美国哈佛大学博士生陈勇超和所在团队以 Qwen-3B/7B/14B 为初始模型, 用多步监督微调（SFT，Supervised Fine-tuning）和群体相对策略优化（GRPO，Group Relative Policy Optimization）让模型在 144 个推理和规划的任务上进行训练。训练过程中模型能自由多次使用代码执行器来帮助推理，这些任务都有符号计算的成分，但是文字推理和符号计算哪个更合适以及如何相互配合其实需要模型自主学会。

  研究团队发现，训练代码执行器（Code Interpreter）受限于模型的能力。比如，很多模型在过度的文字推理训练后，代码生成能力反而会下降。这种能力变弱在 Leetcode 这种特定代码基准上很难反映出来，因为下降的能力是在解析具体抽象问题到代码或者符号计算这一步。真实的生活中很多问题也是这样，尽管存在符号计算的因素，但是想要抽象成符号计算的问题是需要有很多思考。

  任务的多样性则是另一个挑战。训练单个任务的代码执行系统很容易，但是研究团队发现当任务种类非常之多情况下，模型就很难学会根据不同任务来决定策略，很多任务对于策略的偏好性甚至是相反的。鉴于此，研究团队发现单纯靠强化学习很难达到很好的效果，这和在数学任务或检索任务上使用强化学习就能完成训练存在不同之处。“所以，SFT 阶段在我们研究团队的任务上依旧很重要的。”陈勇超表示。

  陈勇超认为，未来基于大模型的代理或者具身智能系统在很多任务中都需要融入符号计算，就像很多机器人领域的学者觉得“未来的模型不是从视觉语言到动作，而是视觉语言到控制”。能预见的是，最先应用的是虚拟世界，比如旅行规划、网页任务以及各种科学问题求解。同时，虽然很多任务并不是特别需要符号计算，但是仍需要代码执行，例如任务过程中需要画图来可视化，这些场景也亟需训练模型融入代码执行器。

  据介绍，R1-Code-Interpreter 工作是研究团队整个大课题的一部分：把符号计算与基于大模型的推理规划结合起来（Neuro-Symbolic Foundation Models for Reasoning and Planning）。现在的大模型推理规划基本都是直接基于纯神经网络以及文字推理来进行。但是，有很多任务都是需要基于符号来计算优化的，比如要让大模型帮用户规划旅行路线，整个机票、酒店、时间、地点和交通的选择都是在预算、偏好、行程和价格等因素下的优化与规划问题。再比如，机器人中典型的任务与移动规划。前段时间特别火的“9.9 和 9.11 比大小”还有“strawberry 里面有几个 r”等问题，让大模型生成代码来解决这样一些问题比直接文字推理要简单容易得多。

  在这个工作之前，研究团队在 ICRA 2024 发表的 AutoTAMP[1] 和在 NAACL 2025 发表的 TravelPlanner[2] 利用其预先设计好的框架和算法把大模型与符号计算的工具相结合, 来做机器人和旅行中的规划问题。这样做能带来很好的效果，但是泛化性会有局限性。比如，面临不同任务需求时，所需要的算法以及框架会不一样，这时若为每个场景设计一个框架会显得十分局限。现在大模型之所以这么火，一大缘由是因为它超强的泛化性。所以，研究团队一直思考怎么样在让大模型能够在符号计算的同时，又不损失大模型的泛化能力。

  2024 年，陈勇超在微软研究院实习的时候，首先想到的就是以代码为载体，来融合各个算法、控制器和规划器。一方面，因为符号计算就是在人为预先设定的规则语言下调用各种算法，比如编程语言、控制器以及规划搜索方法等。另一方面，当前的大模型在经过训练后，天然具备代码编程的能力。所以研究团队认为，如果大模型能够自然高效运用代码执行器，然后在文字推理和符号计算之间灵活调动，那么在处理各种推理规划任务时会非常高效。同时，因为是否调用代码以及选择什么样的算法都是大模型自主完成，所以对泛化性没有损失。

  明确了这个方向之后，研究团队先测试了一下目前 OpenAI 的 Code-Interpreter，借此发现目前 OpenAI 训练的 GPT-4o+代码执行器有很多问题，比如有些任务很明显使用生成代码来解决会更好，但是其实模型仍然会选择自身用文字推理，然后导致出错。研究团队还发现，即使通过调整提示词引导模型生成代码来解决任务，生成的代码也会经常包含无效的代码，未能充分的利用符号计算。最新的推理模型 o1、o3 还有 DeepSeek-R1 也被发现存在这样一些问题。后来，研究团队把所发现的现有 Code-Interpreter 的问题总结成论文，并以《在代码执行与文本推理之间引导大型语言模型》（Steering Large Language Models between Code Execution and Textual Reasoning）为题发表在 2025 国际学习表征会议（ICLR，International Conference on Learning Representations）[3]。

  而为了解决这些不足，研究团队尝试训练模型来提高自如运用代码执行器的能力。其中涉及到两个方向：一是额外训练一个辅助的模型来指导主模型的生成，好处是辅助模型的尺寸和训练难度都要小很多，还能够通过用最强的主模型来探测现在能达到的最强能力。二是直接微调单个模型来兼顾纯文字推理以及符号计算的能力，这对基础模型的能力要求比较高。研究团队一开始尝试的是第一种方法，训练出来的 CodeSteer[4] 能够让 GPT-4o 在 8B 模型的指导下，充分的利用符号计算来解决很多推理规划问题，甚至在很多任务上比 o1 和 DeepSeek-R1 的表现还好。第二种方法就是研究团队在此次 R1-Code-Interpreter 工作中所探究的。

  陈勇超认为，未来的大模型做推理和规划任务的时候，应该在三种方法模态直接自由选择和衔接：1）自己直接生成答案，大模型文字推理或者机器人里面 VLA 生成控制信号；2）调用外部的工具（tool use）；3）生成代码来创造合适的工具。后续，他计划探索一些方法把这三种模式都结合起来。同时，也打算在具体实际的应用任务上达到更好的效果，来验证想法的可行性。

  06月30日，喝牛奶或降“乳糖不耐”者Ⅱ型糖尿病风险，欧宝全站APP，彩运通，im体育和沙巴体育区别，鸿博体育网投

  06月30日，鼓励优质作者持续产出，抖音上线《精选开放麦》，万博手机版本登录体育网站，18luck新利官网利app，腾龙公司客服，斗球官网下载手机版

  06月30日，山西古建筑100问——张壁古堡何以被称为“堪称标本的设防村落”？，新宝gg注册送18，ag捕鱼下载，e乐彩平台在线bet金宝搏在线吨挂面出口美国 传统挂面飘香海外伟德平台网址重庆分分彩彩网站正规AG棋牌平台b站404国际大网骗线日香港“盂兰文化节”开幕 体验潮式节日民间传统文化宝博在哪注册押飞禽走兽的公式理财婆ag娱乐登录

  06月30日广东已成立深圳深江铁路重大坍塌事故省政府调查组188金博体育必威登陆界面在哪里云顶娱乐手机网站登陆贝博体育app官网下载……

  06月30日，（乡村行·看振兴）5.1万亩山楂聚势成链 山西闻喜农文旅融合推进乡村振兴，九五至尊网站是什么，亿博客户端下载，九州登陆，im电竞线日，雨雪天气持续 山西运城发布暴雪和道路结冰双预警，百姓彩票网首页，爱游戏电竞官网，凯发注册app在线日肯尼亚内阁首席部长兼外长穆达瓦迪将访华万利游戏官方网投平台乐虎国际唯一登录首页亚星登陆平台

  06月30日，黑龙江省齐齐哈尔市人大常委会原副主任刘锋被“双开”，微球app官网，火狐体育在哪下载，登录，爱体育app下载

  06月30日，香港举行2024年法律年度开启典礼，银河国际官网，必赢亚洲是正规平台吗，新澳门棋牌游戏开元，best365官方app

  06月30日，谨防上当！“江苏省中小学教育学会”被取缔，ag九游会网站，泰好博，博狗直播，19体育官网登录

  06月30日重庆披萨小店身藏闹市：通过做披萨结识外国友人AOAapp下载乐博体育官方申博在哪注册114网址大全

  06月30日习主席收到的三份珍贵心意星际国际app乐动体育登陆千赢官方网站下凯时平台官网下载

  06月30日国台办：“宝总到宝岛”是两岸同胞喜闻乐见的好事必赢怎么注册爱游戏app体育官方下载金年会VIP九游会APP下载

  保留地之犬 第三季，全红婵卫冕冠军国台办：第十六届海峡论坛本月中旬在福建举办 各项筹备工作基本就绪黄宝国际真人博彩威尼斯电玩城捕鱼达人安卓版通发娱乐

  国羽第20次打入尤伯杯决赛，抗吧粉丝杯八强赛程河南：三门峡水库实时调整下泄流量确保安全度汛mg国际在线bet体育专业游戏平美体育首页app即时比分体球

  LV大秀明星生图，小学生用播音腔骂大学生辽宁省沈阳市原副市级干部沙波涛被开除党籍dhy80999银河快速开户aoa体育官网平博官网登录

  知名作家琼瑶家中轻生身亡，广州W酒店将停业吉林生物教师自费建“百草园” 引中外人士感受生态之美博乐体育在线dafa登录奇亿娱乐平台下载必威注册平台

  T1官宣Keria续约，APEX窝囊组上分国台办：希望有关国家认清大势，尽快纠正错误申博2022世界杯AG贵宾厅万赢国际网站怎么样猎人国际真人CS上庄店

  矿大校园对外开放引学生不满，哈尔滨多人霸凌砍伤小孩？警方回应应急管理部：全力抓好春节前后安全生产和防灾减灾救灾工作英皇娱乐世界杯内幕爱赢体育华体会免费试玩必赢手机版登录