AI 回答好不好？先用十个真实问题来检查

1. 流畅不等于做对

AI 给出一大段漂亮文字，你可能觉得它很好用；但用户关心的是有没有解决问题。评估就是把“看起来不错”变成可检查的标准。比如整理会议记录，要检查事项是否遗漏、负责人是否来自原文、没有日期时有没有乱猜。表达清楚和事实正确，是两件需要分别观察的事。

2. 先准备十个真实问题

不用一开始做复杂系统。挑十个常见任务，给每题写下参考结果和失败条件。既放正常输入，也放含糊要求、缺少资料和容易误解的例子。假设做退费问答，不能只问标准流程，还要问不适用的商品或资料没有说明的情况。这些题应代表真实需求，而不是专门挑能展示好结果的题目。

3. 修改后，用同一套题比较

换模型、改提示词或更新资料后，重新执行相同问题，检查哪些结果变好、哪些退步。记录内容质量，也记录等待时间和运行失败。自动工具可以帮助统计，但关键结果仍要人工看。不要只比较一句答案是否完全相同：同一意思可能有多种表达，验收重点应放在事实、约束和用户可用性上。

4. 把失败变成下一次的题

每发现一个真实问题，就把它整理成新的测试样本。例如模型把缺失时间猜成明天，下次检查就明确要求“资料未写时标注待确认”。保存任务、输入、期望与实际结果，避免靠印象判断。十题通过不等于所有情况都可靠，但它能给你一个可重复的起点，让每次改动都有依据，而不是只靠一次演示。

你可以做一张简单表格，每行记录问题、期待结果、实际表现和是否通过。先用人工判断就够了。以后引入自动评分，也继续抽查真实答案，避免评分规则本身漏掉关键错误，让好看的总分掩盖具体问题。