训练数据 · RL 环境 · 大模型后训练与评测

训练数据与 RL 环境

每条任务均附带自动化判定机制，重复评测结果稳定；代码、终端、桌面与办公类任务随附可交互环境，可直接接入强化学习训练。不具备可验证奖励的任务不予收录。

01推理题科学、竞赛、临床 02代码与终端仓库、内核、终端 03电脑操作界面、桌面、文件 04调用轨迹失败与恢复 05仿真与具身相机与动作 06公开基准可运行包装

交付标准

可验证奖励每条任务附自动判定，结果可复现，可直接接入 RL 训练
难度标定关键品类以强模型实测运行标定难度，优先保留模型仍会失败的样本
对标公开基准能力方向对齐主流榜单；训练任务均为原创，不复刻公开考卷
可交互环境仓库、核函数、终端、桌面与办公类任务随附可运行环境、参考解与测试，可直接接入 RL 训练
持续供给现货之外按周生产新任务，模型未见过

供给方式

仓库改动 · 核函数大批量现货，每周持续新增
边界改动 · 跨文件办公 · 专业软件现货供应，每周持续新增
其余品类按训练目标定制生产

延伸方向

以下方向同样可按需求定制，对应的公开基准如下：

Terminal-Bench-Science科学计算工作流，归入终端裁定官网 · 数据集 · 官方仓库
ZeroBench高难视觉推理，归入推导官网 · 数据集 · Hugging Face
StepSTEM研究生级图文理科推理，归入推导官网 · 数据集 · 官方仓库
BrowseComp面向难检索信息的持续搜索，归入长会话官网 · 数据集 · OpenAI 官方下载
DeepResearch Bench博士级深度研究报告，归入长会话与推导官网 · 数据集 · 官方仓库
KernelBenchGPU 内核生成与优化，归入核函数官网 · 数据集 · 官方仓库

定制服务

可按需搭建可交互环境并设计奖励函数，提供过程级稠密奖励；争议样本由领域专家仲裁；也可作为外部产能，与贵方数据团队协同交付

选型

按训练目标选择任务数据与环境

RL 训练 可交互环境与可验证奖励
终端裁定仓库改动边界改动核函数跨文件办公桌面成品

均随附可运行环境与自动判分
SFT · 过程监督 完整操作轨迹
仓库改动跨文件办公长会话专业软件

用于行为克隆或逐步监督
推理能力 强模型仍会失败的专家原创题
推导赛题临床判断

三套均可查看样例
Agent · 电脑操作 在软件中交付可验证的产物
桌面成品专业软件跨文件办公屏幕落点

屏幕落点专注元素定位
世界模型 · 具身 空间感知与感知—动作闭环
相机世界动作回路

按设备与场景规格定制
评测基线 可复现的公开基准分数
现成考卷

一次交付即可复现主流榜单，省去自建环境

01

以最终答案为奖励

推导

专家原创的 STEM 推理题，含闭式标准答案与完整推导链

对标

GPQA官网数据集 · 官方仓库

SciCode官网数据集 · Hugging Face

Humanity's Last Exam官网数据集 · Hugging Face

MMLU-Pro官网数据集 · Hugging Face

MMMU官网数据集 · Hugging Face

奖励信号: 唯一闭式标准答案，附完整推导，二元判定，可复核
难度: 原创新题，无法通过检索拼合解法；跨度从可解问题延伸到尚无公认解的前沿问题
定位: 研究级科学推理，含图表与多模态题
交付内容: 题目、标准答案、推导步骤、知识点与难度标注，经第二位专家独立盲审
覆盖范围: 物理、化学、生物、数学；含计算与工具辅助推理、工程约束下的定量设计，延伸至前沿理论研究
供给: 按需定制生产

赛题

奥赛级数学与理科题，难度由强模型实测通过率逐题标定

对标

OlympiadBench官网数据集 · 官方下载

MATH-500官网数据集 · 官方仓库

American Invitational Mathematics Examination官网

Humanity's Last Exam官网数据集 · Hugging Face

奖励信号: 精确最终答案，二元判定
难度: 每题附强模型多次运行的通过记录
定位: 奥林匹克级数学与理科，题目无法检索到原题
交付内容: 题目、完整解答、最终答案、模型运行记录、学段与解题技巧标签
覆盖范围: 信息学、组合数学、代数、数论及同级理科竞赛
供给: 按需定制生产

临床判断

临床医生原创题，第二位医生独立复核，保留模型仍易错的样本

对标

HealthBench官网数据集 · OpenAI 官方仓库

MedQA官网数据集 · 官方下载

MedXpertQA官网数据集 · 官方仓库

MMMU官网数据集 · Hugging Face

奖励信号: 医生认可的标准选项与理由
难度: 已剔除强模型普遍答对的题目，保留模型仍易错的样本
定位: 临床诊疗推理，含医学影像与图表题
交付内容: 题目、选项、理由、多模型评分、难度分层；发布前完成去标识化核验
覆盖范围: 诊断推理、流行病学、生物统计与临床决策
供给: 按需定制生产

02

以测试结果为奖励

仓库改动含可交互环境

仓库级代码工程任务，以测试预言机为奖励信号

对标

SWE-bench官网 Verified · Hugging Face Multilingual · Hugging Face Multimodal · Hugging Face

SWE-Bench Pro官网数据集 · 官方仓库

SWE-bench-Live官网数据集 · Hugging Face

LiveCodeBench官网数据集 · Hugging Face

DeepSWE官网数据集 · 官方仓库

SWE-Marathon官网数据集 · 官方仓库

ProgramBench官网数据集 · Hugging Face

FrontierSWE官网数据集 · 官方仓库

奖励信号: 测试预言机：FAIL_TO_PASS 须通过，PASS_TO_PASS 须保持通过；二元判定，模型自述不计
定位: 真实开源仓库中的缺陷修复与功能开发
交付内容: 可运行环境、参考补丁、自动验证，可附完整 rollout
覆盖范围: Rust、Java、Go、PHP、Ruby、JavaScript/TypeScript、C；另可定制 SWE-Marathon、ProgramBench、FrontierSWE 方向的超长程任务
供给: 大批量现货，每周持续新增

边界改动含可交互环境

在多项约束同时成立的前提下完成仓库级改造

对标

EdgeBench SWE官网

奖励信号: 自动测试，对照参考补丁，二元判定
难度: 多约束耦合改造，难度高于常规仓库修复
定位: 版本级、跨模块的长程特性开发
交付内容: 可运行环境、完整仓库、改造路线、参考补丁、自动测试、完整 rollout
覆盖范围: 并发与一致性、存储与故障恢复、接口兼容、分布式场景下的边界情形
供给: 现货供应，每周持续新增

核函数含可交互环境

GPU Kernel 优化任务，在数值正确性约束下以实测性能为奖励

对标

KernelBench官网数据集 · 官方仓库

奖励信号: 数值正确性与真实显卡性能读数同时达标
难度: 每条附独立性能基线，需多轮实验迭代
定位: 自主实验与优化循环，覆盖 CUDA 与 Triton
交付内容: 执行环境、参考实现、正确性测试、性能基准、优化轨迹；可选专家复核
供给: 大批量现货，每周持续新增

终端裁定含可交互环境

在相互冲突的多份材料之间作出裁定的长程终端任务

对标

Terminal-Bench官网数据集 · 官方仓库

Terminal-Bench-Science官网数据集 · 官方仓库

奖励信号: 独立容器内的语义测试，二元判定，模型自述不计
难度: 经强模型多次运行标定：多数尝试失败，但每题均有成功记录，难而可学
定位: Harbor 原生格式，含科学计算子方向
交付内容: task.toml、环境镜像、隔离验证器镜像、参考解与标准产物、多次运行记录、防泄漏标记
覆盖范围: 科学计算、软件与系统、运维与财务核对、媒体处理
供给: 按需持续生产

03

以界面或文件为奖励

屏幕落点

自然语言指令到屏幕元素的定位，附动作后界面状态验证

对标

WebArena官网数据集 · 官方仓库

VisualWebArena官网数据集 · 官方仓库

AndroidWorld官网数据集 · 官方仓库

ScreenSpot-Pro官网数据集 · Hugging Face

OSWorld官网数据集 · 官方仓库

奖励信号: 元素位置与动作后界面状态双重校验
定位: Web、移动端与桌面的界面元素定位
交付内容: 截图、边界框 / 角色 / 标签、操作序列、无障碍树与 DOM、状态检查
覆盖范围: Web、移动、桌面三端；分辨率、主题与布局多样
供给: 按需定制生产

桌面成品含可交互环境

真实操作系统与专业软件中的多步工作流，交付可验证的原生工程文件

对标

OSWorld 2.0官网数据集 · Hugging Face

OSWorld官网数据集 · 官方仓库

奖励信号: 程序校验可再次打开的原生文件与导出结果，以交付物而非操作录像判定完成
定位: 长程电脑操作，以文件交付判定完成
交付内容: 工作环境、参考文件、完整界面操作轨迹、可编辑原生文件、导出结果与自动评分
覆盖范围: CAD 制图、视频剪辑、办公、教学软件及跨软件交付
供给: 按需持续供给

专业软件

专业软件环境中的长流程任务，交付可验证的工程产物

对标

Agents' Last Exam官网数据集 · 官方仓库

奖励信号: 工程产物与实际执行结果
定位: 专业软件中的长流程真实工作
交付内容: 任务、原生文件、执行结果与验证，完整交付含操作轨迹；样例展示任务部分
供给: 现货供应，专家制作，每周持续新增

跨文件办公含可交互环境

跨文件、跨工具的长程专业工作流，交付可验证产物

奖励信号: 最终产物验证，自动校验或专家验收
定位: 多文件、多工具串联的长程工作流，区别于单轮问答
交付内容: 任务环境、agent 轨迹、工具调用、最终产物与验证结果
供给: 现货供应，每周持续新增

行业文件房间

基于真实文档世界的垂直行业任务，附逐条评分规则

对标

GDPval官网数据集 · Hugging Face

LegalBench官网数据集 · Hugging Face

APEX-Agents官网数据集 · Hugging Face

τ-Bench官网数据集 · 官方仓库

WorkArena官网 · 数据集

GAIA官网数据集 · Hugging Face

奖励信号: 逐条评分规则对照标准结果，不采用整体印象打分
定位: 垂直行业的专业知识工作
交付内容: 文档世界数据包、任务定义、标准答案、逐条评分规则、合规边界与审计记录
覆盖范围: 法律、金融、医疗、制造
供给: 按需定制生产

04

含失败与恢复的轨迹

长会话

长程工具调用轨迹，完整保留失败、回退与恢复过程

对标

GAIA官网数据集 · Hugging Face

ToolBench官网 · 数据集

Berkeley Function-Calling Leaderboard官网数据集 · 官方仓库

τ-Bench官网数据集 · 官方仓库

AssistantBench官网数据集 · Hugging Face

奖励信号: 关键步骤确定性检查，整段轨迹可回放
难度: 覆盖超长多轮会话，含真实的失误与纠错
定位: 以完整轨迹为交付，用于过程监督
交付内容: 工具调用、环境观察、失败与回退标注、轨迹摘要
供给: 按需定制生产

05

带空间参数的仿真数据

相机世界

仿真生成的帧同步多视角画面，每帧附精确相机参数与原生标注

对标

WorldModelBench官网数据集 · 官方仓库

奖励信号: 跨相机几何一致性，运动幅度落在约定区间
定位: 世界模型与空间理解训练
交付内容: 多视角帧、相机内外参、位姿、深度、分割、实体坐标与朝向
覆盖范围: 运动幅度分档均衡，第一与第三人称视角同步
供给: 场景可预设，按需定制生产

动作回路

感知—规划—动作闭环，附环境反馈与结构化的成功 / 失败定义

对标

EmbodiedBench官网 EB-ALFRED · Hugging Face EB-Manipulation · Hugging Face

奖励信号: 预定义成功标准与结构化失败分类，校验动作后的状态迁移
定位: 具身智能体的感知、规划与执行
交付内容: 场景描述、动作标签、反馈状态、成功标准、错误类型、评估规格
供给: 数据格式按目标平台定制生产

06

公开基准的可运行交付

现成考卷

主流公开基准的即插即用评测包，附可复现验证环境

覆盖

Terminal-Bench链接见终端裁定

SWE-bench链接见仓库改动

HealthBench链接见临床判断

GPQA链接见推导

MMLU-Pro链接见推导

OSWorld链接见桌面成品

GAIA链接见长会话

Berkeley Function-Calling Leaderboard链接见长会话

奖励信号: 沿用官方评分，并在独立的第二套环境中复现分数
定位: 建立可复现的公开基线，省去自建与调试评测环境的成本
交付内容: 数据包、版本说明、评分脚本、可复现验证环境、验收报告
供给: 按指定基准打包交付