SkillEvaluator 如何评估 Agent 技能?

在 NVIDIA 的首批基准中,jetson-optimize-memory 让 Token 用量下降 76.9%,cuopt-install 却让 Token 用量上升 120.3%。 这组反差说明,技能能够加载并不等于它创造了价值;它既可能减少模型绕路,也可能把提示词和执行过程变得更臃肿。

SkillEvaluator 的做法是把“技能是否有用”拆成三道检查:Tier 1 拦截安全与结构风险,Tier 2 识别重复与能力重叠,Tier 3 通过有、无技能的同条件任务运行验证实际增益。NVIDIA 将其作为开源工具发布,首批基准覆盖 30 余款产品、300 余项认证技能,并在两套 Agent 测试框架上完成评估。

三层检查分别拦什么

Tier 1 是发布前的硬门槛。它检查 Schema、前置元数据和技能质量,扫描提示注入、数据外泄、敏感信息与个人隐私,同时核查许可证及脚本代码。 在参考工程实践中,SkillSpector 专门承担其中的安全扫描,因此高危安全发现可以直接阻断发布。

Tier 2 使用嵌入相似度识别两类问题:单个技能内部的重复指导,以及技能目录中不同技能之间的覆盖重叠。它通常更适合产生告警并进入人工复核,而不是直接阻断,因为语义相近不一定代表功能完全相同。

Tier 3 才回答技能是否真正改善任务表现:同一个任务分别在加载和不加载技能的条件下运行,再比较正确性、有效性和执行成本。三层既可以独立运行,也可以串联为发布门禁。

怎样跑出可信的 Skill Lift

评测集首先要覆盖四种触发情况:显式调用要求模型明确触发技能;隐式调用依赖名称和描述识别意图;上下文用例加入真实场景噪声;负向用例则验证相邻请求不应触发技能。

运行下面的命令生成完整数据集:

skillevaluator create-eval-dataset ./my-skill --full

生成的 evals/evals.json 包含用例 ID、提示词、预期输出及可选断言,其中 --full 会加入上述四种类型,负向用例尤其适合控制误触发。

随后执行 Tier 3:

skillevaluator tier3 evaluate ./my-skill --agents codex --env-mode docker

SkillEvaluator 会把用例转换成 Harbor 任务包,在隔离沙盒中完成有、无技能的对照运行。两次运行必须保持提示词、模型、任务输入和评分标准一致,唯一变量只能是技能是否加载;两者得分之差就是 Skill Lift,单位为分。

结果不能只看一个总分。Correctness、Effectiveness、Token 用量和执行时间需要分开观察,因为技能可能提高任务正确率,同时增加资源消耗。 官方基准中,Correctness 与 Effectiveness 的平均 Skill Lift 分别为 41 分和 39 分,但不同产品的变化范围达到 +2 至 +46 分,说明结果不能脱离产品领域和评测设计直接外推。

怎样把评测结果变成发布规则

发布规则可以按风险分层设置:Tier 1 的高危安全、隐私和许可证问题强制阻断;Tier 2 的重叠进入告警与人工复核;Tier 3 则依据正确性、有效性和成本变化设置可配置门槛。 不建议把“Skill Lift 大于零”作为唯一条件,至少还要单独审查 Token 和耗时,避免用更多计算资源掩盖流程退化。

后续版本迭代时,可以保留正负用例做回归,并用 Trace 定位 Agent 的第一个行为偏差点,再通过 Rubric 区分“做了”与“做对了”。 分发方面,NVIDIA 已为 Claude Code、Codex 和 Cursor 发布对应插件,同一技能也可通过 Skills.sh、ClawHub 和 Hermes Hub 获取。

我的判断是,SkillEvaluator 真正有用的地方,不是给技能打一个漂亮分数,而是让每次发布都能回答:它究竟比没有这个技能多做了什么。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容