先建立一个很小但真实的评测集

初版不需要上千条数据。可以从 20 到 50 个真实任务开始，至少覆盖：

• 最常见的正常请求。
• 信息不全、表达含糊和格式异常的请求。
• 工具超时、空结果、权限不足和重复回调。
• 应该拒绝或转人工的高风险请求。
• 曾经发生过的回归样本。

每条样本写清输入、允许使用的上下文、期望行为、禁止行为和判定方法。能用代码判定的就用代码；涉及帮助程度、事实完整性或语气的，再使用有量表的人类复核或模型评分，并定期校准评分器。

每次改动都问四个问题

1. 通过率是否提高，还是只对展示案例提高？
2. 原来通过的样本有没有回归？
3. 成本、延迟和工具调用次数发生了什么变化？
4. 失败是否更容易被发现和人工接管？

OpenAI 的评测指南也强调持续评测、任务特定样本和人工反馈校准。无论使用哪家模型，这个方法都成立：先把“好”写成可检查的行为，再调整 Prompt、工具或模型。

参考：

• https://developers.openai.com/api/docs/guides/evaluation-best-practices
• https://platform.openai.com/docs/guides/evals

编辑说明：2026-08-15，COHAO 编辑部依据官方评测指南和工程实践整理；AI 协助起草，项目负责人复核。