首页 > agent > 当前页面

这是 Agent 评估里面最容易让人疑惑的地方。

2026-06-26 NEW个对象

📌 Agent评估数据统计完整流程梳理

Agent评估的核心不是“单一指标计算”，而是围绕 Trace（执行轨迹） 构建的一整套评估体系，包括 Tool 调用、参数匹配、任务完成情况以及 LLM 评分等多个维度。
将请求调用大模型的链路以json的形式存到数据库里，然后对数据库里的数据进行统计分析，计算出各个指标的准确率，结果的准确度，可以人工评测或让大模型评估。

其实也是一个数据收集和统计的过程。

🎯 一、核心基础：Trace数据采集

所有评估的前提是记录 Agent 每一次执行过程，也就是 Trace。 Trace 本质上是 Agent 从问题输入到最终输出的完整链路日志。

Question → LLM → Tool调用 → LLM → Tool调用 → LLM → Final Answer

Trace中通常包含：

  • 用户问题（Question）
  • Tool调用链（tool name + args + result）
  • LLM中间输出
  • 最终答案
  • 耗时 & Token成本
{ "question": "...", "toolCalls": [ { "tool": "searchEmployee", "args": {"name":"张三"}, "result": {"id":1001} } ], "answer": "...", "latency": 3200, "cost": 0.32 }

🚀 二、Tool调用评估

1. Tool Name Accuracy

判断是否选对工具：

Accuracy = 正确Tool次数 / 总Tool次数

例如：searchEmployee ✔，sendSMS ✘ → 失败

2. Argument Accuracy

对比参数是否正确：

{name:"张三"} vs {name:"张三丰"} → 错误

统计方式：字段级对齐，计算 Precision / Recall / F1。

📊 三、任务完成率（最重要指标）

不看过程，只看最终结果是否正确（系统状态是否达标）。

Task Success Rate = 成功任务数 / 总任务数

例如订单创建任务，需要检查：

  • 订单是否生成
  • 库存是否扣减
  • 支付状态是否正确
重点：不是比对回答，而是比对“最终环境状态”

🔥 四、自动评测（Evaluator机制）

for (TestCase tc : testCases) { Trace trace = agent.run(tc); Result result = evaluator.evaluate(trace, tc.getGroundTruth()); save(result); }

Evaluator通常包含：

  • compareTool()
  • compareArgs()
  • compareAnswer()
  • compareState()
  • compareCost()

📉 五、失败归因分析（Root Cause）

对失败样本进行分类统计：

Tool错误 40% 参数错误 25% 推理错误 20% 上下文丢失 10% Token截断 5%

这一步用于优化 Agent（Prompt / Tool / Workflow）。

🤖 六、LLM as Judge（无标准答案场景）

当没有Ground Truth时，用另一个模型进行评分。

Tool合理性（0~5） 参数合理性（0~5） 答案正确性（0~5） 推理连贯性（0~5）

示例输出：

{ "tool": 5, "argument": 4, "answer": 5, "reasoning": 3 }

最终计算平均分形成 Agent Score。

📌 七、企业级评估指标体系

指标 含义 示例
Tool Accuracy 工具选择正确率 98%
Argument Accuracy 参数匹配率 95%
Task Success Rate 任务完成率 86%
Latency 响应耗时 4.3s
Token Cost 成本消耗 2100 tokens
Failure Attribution 失败原因分析 Tool错误40%

📌 八、总结

Agent评估体系的核心是围绕 Trace数据 构建的闭环流程：

  • 记录Trace（执行轨迹）
  • 对齐Ground Truth或LLM评分
  • 计算多维指标（Tool / 参数 / 成功率 / 成本）
  • 进行失败归因分析

本质上，这是一个 Agent版的测试体系 = 单元测试 + 监控 + 质量评估 + 线上分析。

上一篇：Agent安全架构设计：将模型视为不可信执行体的工程实践

下一篇：大模型如何稳定输出 JSON（工程级四层防御体系）

相关文章

NEW个对象 NEW个对象
JAVA是世界上最好的语言

推荐文章

最新文章