Generated by Answer me with HTML 0.5.10 · 2026-11-19 16:36 · ★ Star on GitHub
TRAE 评测开发:从本机断点到真实单题
先用模拟输入看清代码,再让远端沙箱跑真实 TRAE。
先调本机单测,再验真实单题,最后做平台联调。 本轮已补好断点配置,没有执行编译或真实评测。
你现在该从哪里开始?
最近检查只剩约 2.3 GiB。 新调试入口要求可用空间至少 5 GiB。 检查已拦住构建,没有开始编译。 这是启动前检查,构建期间也要留意空间。
- 用 VS Code 打开下面的工作区。
- 确认编辑器已安装 Go 扩展。
- 在
trae.go的 1178 行打断点。 - 选择下面的 Runtime 配置,再按 F5。
Runtime: TRAE cmd-forward payload mock这个配置会运行 TestTraeExperimentConfigControlsIDEAndTurn。
它调用真实的 sendPayload,使用测试里的模拟数据。
你可以观察题面、模型和 Agent 模式怎样变成 JSON。
它不会连接真实 cmd-forward 或 Mac VM。
改哪里,就先调哪一层
| 你改的内容 | 本机先验证什么 | 后续真实验证 |
|---|---|---|
| casefile 字段、默认值、跑法 | 解析和参数投影单测 | 一道真实题目 |
| cmd-forward 请求参数 | sendPayload 参数单测 |
IDE 真实发问 |
| TRAE 结果解析、失败分类 | readTurn 模拟单测 |
IDE 数据库与本轮输出 |
| CLI 命令、resume、事件解析 | 对应 CLI 适配器单测 | 对应 CLI 的单题 |
| Runtime 多轮、评分与产物 | 受影响的领域或编排单测 | 真实沙箱执行 |
| 平台任务、资源与回调 | Commercial 状态或服务 mock 单测 | 指定 PPE 的单题任务 |
| 题目 query、setup 或评分脚本 | 本地检查题目与脚本 | 更新题目后再跑,无需改 Runtime |
Runtime:先看懂 cmd-forward 的参数
新工作区有两个 Runtime 入口。 它们共用测试二进制,启动时选择不同测试。
| 配置名称 | 进入哪里 | 推荐观察什么 |
|---|---|---|
Runtime: TRAE cmd-forward payload mock |
sendPayload |
ws、session、prompt、opts |
Runtime: TRAE result mock |
readTurn |
TURN_STATUS、错误分类、Success、回答 |
第一个断点:trae.go:1178。
按 F10 走到 JSON 编码之后。
观察 opts,也可在 Watch 中看 string(payload)。
本测试的 prompt 是 fix the test。
模型和模式都是测试数据,不会发模型请求。
第二个断点:trae.go:1056。
选择 result mock 配置。
测试用 fakebox 提供 TURN_STATUS=failed。
观察代码怎样保留回答,并让结果继续进入评分。
普通命令行测试入口:
source /Users/bytedance/fornax_workspace/_local/dev-env/env.shcd /Users/bytedance/fornax_agent_eval_runtimego test -v -count=1 \ -run '^TestTraeExperimentConfigControlsIDEAndTurn$' \ ./internal/infrastructure/agentimpl/cliCommercial:固定 Go 1.24.6
Commercial: task state test (Go 1.24.6)在 eval_task_test.go:35 打断点。
然后选此配置,按 F5。
它检查状态映射与流转,不会启动 evaluation 服务。
普通命令行入口:
cd /Users/bytedance/cozeloop-commercial/Users/bytedance/fornax_workspace/_local/dev-env/bin/go-commercial \ test -tags=sqlite_json -gcflags='all=-N -l' -count=1 \ ./modules/evaluation/domain/entity \ -run '^TestTaskStatusBehavior$'go-commercial 固定调用项目的 Go 1.24.6。
它没有替换系统 Go,也没有改全局 PATH。
系统 Go 1.27 曾与旧 mockey 库发生链接冲突。
新 F5 配置先用包装器编译测试二进制。 然后 Delve 直接调试该二进制。 因此不会让 Delve 误用系统 Go 来编译这个包。
如果使用 GoLand:
选择 Go 1.24.6 项目 SDK,再 Debug 指定测试。
SDK 目录是下面的路径,不是 bin/go 文件。
/Users/bytedance/go/pkg/mod/golang.org/toolchain@v0.0.1-go1.24.6.darwin-arm64平台状态测试 35 行。
换一种改动,该选哪个测试?
| 改动 | 建议的精确测试名 | 模拟的边界 |
|---|---|---|
| IDE 发问配置 | TestTraeExperimentConfigControlsIDEAndTurn |
构造配置和 JSON,不发 HTTP |
| 发送超时后找回会话 | TestTraeSendWithRetryRecoversSessionAfterTimeout |
注入 send、recover 和 sleep |
| IDE Setup 顺序 | TestTraeSetupRelaunchesAfterTrustEgress |
模拟 Mac 与 Linux 两个 box |
| 普通失败仍可评分 | TestTraeReadTurnPlainFailureRemainsScoreable |
模拟读取器输出 |
| 网关错误归类 | TestTraeReadTurnStructuredFailureStaysInfrastructureError |
模拟结构化错误 |
| 旧 CLI 命令参数 | TestTraeCliRunCommandShape |
检查命令与环境 |
| Traex CLI 命令参数 | TestTraexRunCommandShape |
检查命令与环境 |
| Traex CLI 多轮续接 | TestTraexResumesNamedSession |
检查 resume 会话参数 |
| Harness CLI 命令参数 | TestTraeHarnessRunCommandShape |
检查命令与会话参数 |
这些测试只覆盖所列边界。 真实 VSIX 是否激活,仍要在 IDE 环境验证。 如果改的是 VSIX 内部实现,需要另看插件源码。 本仓提供调用侧与安装侧代码。
工作区原有的 Runtime: mockfaas (local) 会启动伪服务。
它不会自动调用 TRAE 适配器。
学习 TRAE 参数时,请选 A 节的新配置。
真实 TRAE:本机发起,远端执行
本机单测用模拟输入验证逻辑。 真实单题使用远端 Linux 沙箱与 Mac VM。 本机 F5 的断点不会自动命中远端进程。
真实链路需要这些输入:
| 输入 | 用途 |
|---|---|
TEST_CASE_FILE |
真实题目 JSON,即 dataset_item 这一层 |
EXPT_FILE |
TRAE 对象、跑法及 Mac 连接配置 |
DEBUG_ENV_FILE |
本机 launcher 使用的配置 |
AIC_ENV_FILE |
对应 AIC 集群的控制凭据文件 |
ORCH_ENV_FILE |
只传给 Orchestrator 的配置文件 |
| 开发标签 | 选择本次 TOS Linux 二进制 |
完整 casefile 是合成后的文件。
不要把它整个当作 TEST_CASE_FILE。
之前的 JSON 示例带占位资源,不能直接运行。
下面命令会构建并上传 Linux 制品,再申请真实资源。 本轮未执行它。
cd /Users/bytedance/fornax_agent_eval_runtimeTEST_CASE_FILE="<真实题目JSON绝对路径>" \EXPT_FILE="<实验JSON绝对路径>" \DEBUG_ENV_FILE="<本机launcher配置路径>" \AIC_ENV_FILE="<对应集群配置路径>" \ORCH_ENV_FILE="<Orchestrator配置路径>" \TTL=3600 \bash ./examples/scripts/run_trae_ide_e2e.sh "<唯一开发标签>"ORCH_ENV_FILE 只传路径,不在本机 source。
仅当同标签制品已在 TOS 时,才用 SKIP_BUILD=1。
它复用远端制品,不会改用本机 Mac 二进制。
脚本入口 82 行。
平台功能:到 PPE 跟一条真实任务
本机状态单测不会触发真实平台请求。 任务、资源准入、回调和回流,要在测试环境联调。
- 本机先通过受影响的精确单测。
- 将对应服务部署到明确的 PPE 泳道。
- 用一道题、低并发发起测试任务。
- 沿调用编号检查日志与产物。
| 阶段 | 先看哪里 | 对照编号 |
|---|---|---|
| 创建任务与组合 | eval_task_impl.go |
task ID |
| 准备资源与 casefile | target_source_sandbox_agent_impl.go |
实验 ID、invoke ID |
| IDE 发问与读结果 | Runtime trae.go |
TRAE 聊天 sessionId、轮次 |
| 结果回调 | eval_openapi_app.go |
invoke ID |
| 回流与分析 | eval_analysis_progress.go |
实验 ID、题目 ID、实验组 |
先核实运行版本。
平台实验使用 RC tar.gz 与 binary_version。
本地 launcher 使用裸二进制与 --eval-version。
两条制品路径要分别核对 build identity。
launcher 默认跳过平台回写。 回调、Trace 与回流还需有效平台身份另验。 远端断点需要专门的调试构建和受控连接。 当前工作区没有接好的 PPE remote attach。
当前准备好了什么?
| 项目 | 当前状态 |
|---|---|
| 四仓源码与本地工具 | 已准备 |
| Runtime 本机二进制及选定基础测试 | 初始化阶段已验证 |
| Commercial Go 1.24.6 状态测试 | 初始化阶段已通过 |
| 新增 3 个断点配置 | 已生成,静态校验 |
| 新配置实际命中断点 | 本轮未运行 |
| 磁盘空间检查 | 已触发低空间保护,没有编译 |
| Commercial 完整服务编译 | 之前受磁盘限制,尚未完成 |
| 本机完整平台服务 | 尚未配置 |
| 真实沙箱与 PPE 联调 | 本轮未执行 |
当前不会直接启动 cmd/evaluation。
它仍需要配置中心、存储、消息队列与内部鉴权。
下一步从一个本机单测断点开始即可。