Generated by Answer me with HTML 0.5.10 · 2026-11-19 16:36 · ★ Star on GitHub

TRAE 评测开发:从本机断点到真实单题

先用模拟输入看清代码,再让远端沙箱跑真实 TRAE。

日期2026-11-19范围Runtime + Commercial

先调本机单测,再验真实单题,最后做平台联调。 本轮已补好断点配置,没有执行编译或真实评测。

A

你现在该从哪里开始?

先释放磁盘,再启动编译

最近检查只剩约 2.3 GiB。 新调试入口要求可用空间至少 5 GiB。 检查已拦住构建,没有开始编译。 这是启动前检查,构建期间也要留意空间。

  1. 用 VS Code 打开下面的工作区。
  2. 确认编辑器已安装 Go 扩展。
  3. 在 trae.go 的 1178 行打断点。
  4. 选择下面的 Runtime 配置,再按 F5。

四仓开发工作区

第一个推荐配置text
Runtime: TRAE cmd-forward payload mock

这个配置会运行 TestTraeExperimentConfigControlsIDEAndTurn。 它调用真实的 sendPayload,使用测试里的模拟数据。 你可以观察题面、模型和 Agent 模式怎样变成 JSON。 它不会连接真实 cmd-forward 或 Mac VM。

B

改哪里,就先调哪一层

你改的内容 本机先验证什么 后续真实验证
casefile 字段、默认值、跑法 解析和参数投影单测 一道真实题目
cmd-forward 请求参数 sendPayload 参数单测 IDE 真实发问
TRAE 结果解析、失败分类 readTurn 模拟单测 IDE 数据库与本轮输出
CLI 命令、resume、事件解析 对应 CLI 适配器单测 对应 CLI 的单题
Runtime 多轮、评分与产物 受影响的领域或编排单测 真实沙箱执行
平台任务、资源与回调 Commercial 状态或服务 mock 单测 指定 PPE 的单题任务
题目 query、setup 或评分脚本 本地检查题目与脚本 更新题目后再跑,无需改 Runtime
修改源码精确单测断点本机测试通过真实沙箱单题平台PPE联调
C

Runtime:先看懂 cmd-forward 的参数

新工作区有两个 Runtime 入口。 它们共用测试二进制,启动时选择不同测试。

配置名称 进入哪里 推荐观察什么
Runtime: TRAE cmd-forward payload mock sendPayload ws、session、prompt、opts
Runtime: TRAE result mock readTurn TURN_STATUS、错误分类、Success、回答

第一个断点:trae.go:1178。 按 F10 走到 JSON 编码之后。 观察 opts,也可在 Watch 中看 string(payload)。 本测试的 prompt 是 fix the test。 模型和模式都是测试数据,不会发模型请求。

第二个断点:trae.go:1056。 选择 result mock 配置。 测试用 fakebox 提供 TURN_STATUS=failed。 观察代码怎样保留回答,并让结果继续进入评分。

普通命令行测试入口:

本机模拟单测 · 会编译测试包bash
source /Users/bytedance/fornax_workspace/_local/dev-env/env.shcd /Users/bytedance/fornax_agent_eval_runtimego test -v -count=1 \  -run '^TestTraeExperimentConfigControlsIDEAndTurn$' \  ./internal/infrastructure/agentimpl/cli

直接执行此命令没有工作区的磁盘检查。 请先确认空间,再运行。

参数测试 17 行;结果测试 16 行。

D

Commercial:固定 Go 1.24.6

平台状态单测的断点配置text
Commercial: task state test (Go 1.24.6)

在 eval_task_test.go:35 打断点。 然后选此配置,按 F5。 它检查状态映射与流转,不会启动 evaluation 服务。

普通命令行入口:

已验证过的项目工具链与状态测试入口bash
cd /Users/bytedance/cozeloop-commercial/Users/bytedance/fornax_workspace/_local/dev-env/bin/go-commercial \  test -tags=sqlite_json -gcflags='all=-N -l' -count=1 \  ./modules/evaluation/domain/entity \  -run '^TestTaskStatusBehavior$'

go-commercial 固定调用项目的 Go 1.24.6。 它没有替换系统 Go,也没有改全局 PATH。 系统 Go 1.27 曾与旧 mockey 库发生链接冲突。

新 F5 配置先用包装器编译测试二进制。 然后 Delve 直接调试该二进制。 因此不会让 Delve 误用系统 Go 来编译这个包。

如果使用 GoLand: 选择 Go 1.24.6 项目 SDK,再 Debug 指定测试。 SDK 目录是下面的路径,不是 bin/go 文件。

Commercial 的 GoLand SDK 目录text
/Users/bytedance/go/pkg/mod/golang.org/toolchain@v0.0.1-go1.24.6.darwin-arm64
E

换一种改动,该选哪个测试?

改动 建议的精确测试名 模拟的边界
IDE 发问配置 TestTraeExperimentConfigControlsIDEAndTurn 构造配置和 JSON,不发 HTTP
发送超时后找回会话 TestTraeSendWithRetryRecoversSessionAfterTimeout 注入 send、recover 和 sleep
IDE Setup 顺序 TestTraeSetupRelaunchesAfterTrustEgress 模拟 Mac 与 Linux 两个 box
普通失败仍可评分 TestTraeReadTurnPlainFailureRemainsScoreable 模拟读取器输出
网关错误归类 TestTraeReadTurnStructuredFailureStaysInfrastructureError 模拟结构化错误
旧 CLI 命令参数 TestTraeCliRunCommandShape 检查命令与环境
Traex CLI 命令参数 TestTraexRunCommandShape 检查命令与环境
Traex CLI 多轮续接 TestTraexResumesNamedSession 检查 resume 会话参数
Harness CLI 命令参数 TestTraeHarnessRunCommandShape 检查命令与会话参数

这些测试只覆盖所列边界。 真实 VSIX 是否激活,仍要在 IDE 环境验证。 如果改的是 VSIX 内部实现,需要另看插件源码。 本仓提供调用侧与安装侧代码。

工作区原有的 Runtime: mockfaas (local) 会启动伪服务。 它不会自动调用 TRAE 适配器。 学习 TRAE 参数时,请选 A 节的新配置。

F

真实 TRAE:本机发起,远端执行

本机断点和远端运行是两条反馈环

本机单测用模拟输入验证逻辑。 真实单题使用远端 Linux 沙箱与 Mac VM。 本机 F5 的断点不会自动命中远端进程。

真实链路需要这些输入:

输入 用途
TEST_CASE_FILE 真实题目 JSON,即 dataset_item 这一层
EXPT_FILE TRAE 对象、跑法及 Mac 连接配置
DEBUG_ENV_FILE 本机 launcher 使用的配置
AIC_ENV_FILE 对应 AIC 集群的控制凭据文件
ORCH_ENV_FILE 只传给 Orchestrator 的配置文件
开发标签 选择本次 TOS Linux 二进制

完整 casefile 是合成后的文件。 不要把它整个当作 TEST_CASE_FILE。 之前的 JSON 示例带占位资源,不能直接运行。

下面命令会构建并上传 Linux 制品,再申请真实资源。 本轮未执行它。

真实 IDE 单题入口 · 需先填写有效资源bash
cd /Users/bytedance/fornax_agent_eval_runtimeTEST_CASE_FILE="<真实题目JSON绝对路径>" \EXPT_FILE="<实验JSON绝对路径>" \DEBUG_ENV_FILE="<本机launcher配置路径>" \AIC_ENV_FILE="<对应集群配置路径>" \ORCH_ENV_FILE="<Orchestrator配置路径>" \TTL=3600 \bash ./examples/scripts/run_trae_ide_e2e.sh "<唯一开发标签>"

ORCH_ENV_FILE 只传路径,不在本机 source。 仅当同标签制品已在 TOS 时,才用 SKIP_BUILD=1。 它复用远端制品,不会改用本机 Mac 二进制。

脚本入口 82 行。

G

平台功能:到 PPE 跟一条真实任务

本机状态单测不会触发真实平台请求。 任务、资源准入、回调和回流,要在测试环境联调。

  1. 本机先通过受影响的精确单测。
  2. 将对应服务部署到明确的 PPE 泳道。
  3. 用一道题、低并发发起测试任务。
  4. 沿调用编号检查日志与产物。
阶段 先看哪里 对照编号
创建任务与组合 eval_task_impl.go task ID
准备资源与 casefile target_source_sandbox_agent_impl.go 实验 ID、invoke ID
IDE 发问与读结果 Runtime trae.go TRAE 聊天 sessionId、轮次
结果回调 eval_openapi_app.go invoke ID
回流与分析 eval_analysis_progress.go 实验 ID、题目 ID、实验组

先核实运行版本。 平台实验使用 RC tar.gz 与 binary_version。 本地 launcher 使用裸二进制与 --eval-version。 两条制品路径要分别核对 build identity。

launcher 默认跳过平台回写。 回调、Trace 与回流还需有效平台身份另验。 远端断点需要专门的调试构建和受控连接。 当前工作区没有接好的 PPE remote attach。

H

当前准备好了什么?

项目 当前状态
四仓源码与本地工具 已准备
Runtime 本机二进制及选定基础测试 初始化阶段已验证
Commercial Go 1.24.6 状态测试 初始化阶段已通过
新增 3 个断点配置 已生成,静态校验
新配置实际命中断点 本轮未运行
磁盘空间检查 已触发低空间保护,没有编译
Commercial 完整服务编译 之前受磁盘限制,尚未完成
本机完整平台服务 尚未配置
真实沙箱与 PPE 联调 本轮未执行

当前不会直接启动 cmd/evaluation。 它仍需要配置中心、存储、消息队列与内部鉴权。 下一步从一个本机单测断点开始即可。

打开开发工作区 · 原链路与 casefile 图解