Eval Skills

Overview

GitHubGitHub

Eval Skills 是一组用于引导 AI 编程代理（AI coding agents）的 Skills，帮助开发者构建针对具体产品的 AI 评估（evals），而非基础模型基准测试。这些 Skills 总结了协助 50 多家公司和教授数千名学生的经验，旨在规避评估过程中常见的错误。 ## 工作流程 **evals-start** 是入口 Skill，它会根据当前情况将用户路由到合适的 Skill。通常有两个主要分支： - **eval-audit**：适用于已有评估流水线的场景，检查现有设置并推荐后续步骤。 - **error-discovery**：适用于有 traces 但尚未分析的场景，构建标注界面并帮助采样 traces。 ## error-discovery 详解 `error-discovery` 是该集合中核心的 Skill。它让 AI 代理对数据集运行错误分析。用户只需指向一个包含 LLM 输出或 traces 的 JSONL/CSV/JSON 文件，代理会执行以下步骤： 1. 读取数据集并识别内容类型（文章、代理 traces、代码、结构化输出等）。 2. 基于数据差异设计视觉编码，使用格式塔原则（颜色表示类别、间距表示层级、透明度表示重要性）。 3. 构建单文件 HTML 审查应用，由 Python 标准库服务器提供服务，无额外依赖。 4. 对数据进行聚类并选择多样化的初始样本（聚类代表加随机抽取）。 5. 运行交互循环：监控标注、分类失败模式、提出新样本以提高覆盖率。 用户在界面上阅读并留下自由文本笔记，代理将其整理为失败模式、跟踪覆盖率并挑选新样本填补空白。完成错误发现后再编写评估是推荐的工作顺序。 ## 其他可用 Skills 除上述核心 Skill 外，该仓库还提供生成合成测试数据、编写代码评估、设计 LLM-as-Judge 提示词、校准 LLM 评估器、评估 RAG 流水线以及构建自定义标注界面等能力。

Q&A

如何安装 Eval Skills？AI-generated

使用 npx skills 命令安装：npx skills add https://github.com/ai-evals-course/evals-skills。如果只想安装单个 Skill，可以添加 --skill 参数，例如 --skill error-discovery。

如何检查更新？AI-generated

运行 npx skills check 检查是否有更新，运行 npx skills update 进行更新。

error-discovery 支持哪些数据格式？AI-generated

支持指向包含 LLM 输出或 traces 的 JSONL、CSV 或 JSON 文件。

error-discovery 生成的审查应用需要什么依赖？AI-generated

不需要额外依赖。它会生成一个单文件 HTML 审查应用，由 Python 标准库服务器提供服务。

这些 Skills 是用来做基础模型基准测试的吗？AI-generated

不是。原文明确说明这些 Skills 用于帮助构建针对具体产品的 AI 评估（product-specific AI evals），而不是基础模型基准测试（foundation model benchmarks）。