NVIDIA/SkillEvaluator
Multi-tier framework for evaluating AI agent skills and plugins with quality gates, semantic overlap detection, synthetic evaluation dataset generation, and live agent evaluation that measures how skills affect agent behavior.
Python · ★ 3,398 · Fork 470 · 在 GitHub 查看
在手机上浏览源码、订阅每日 AI 趋势日报与项目架构深度解读:获取 CopoHub 客户端(iOS & HarmonyOS)→
GitHub Trending 上榜记录
NVIDIA/SkillEvaluator 已在 GitHub Trending 每日榜单上榜 5 天,最高排名第 9,首次上榜 2026-11-14,最近一次上榜 2026-11-18。
| 日期 | 排名 | Star | 当日增长 |
|---|---|---|---|
| 2026-11-18 | #32 | 3,398 | +869 |
| 2026-11-17 | #9 | 3,324 | +969 |
| 2026-11-16 | #9 | 2,622 | +953 |
| 2026-11-15 | #12 | 1,621 | +205 |
| 2026-11-14 | #28 | 1,248 | +168 |
同期上榜的项目
- elementalsouls/Claude-BugHunter – A Claude Code skill bundle for bug hunting and external red-team work - 82 skills, 15 slash commands, 681 disclosed-report patterns curated across 24 core vulnerability classes, plus enterprise identity + infrastructure attack matrices.
- mvanhorn/last30days-skill – AI agent skill that researches any topic across Reddit, X, YouTube, HN, Polymarket, and the web - then synthesizes a grounded summary
- alibaba/open-code-review – Secure, fast, efficient, battle-tested at Alibaba's scale. Hybrid architecture code review tool: deterministic pipelines + LLM Agent, precise line-level comments, built-in multi-language ruleset (NPE, thread-safety, XSS, SQL injection), OpenAI & Anthropic compatible.
- Tencent/LoopForge – Self-hosted workflows for coding-agent delivery. Orchestrate CodeBuddy, Codex and Claude Code with scripts and human approval gates. Includes Local workflows for coding assistants.
- dream-num/univer – Build your own AI office with Univer Office SDK. Bring editing, calculation, collaboration, and file processing into your product for people and AI agents. Built on an extensible open-source core.
- getarcaneapp/arcane – Modern Docker Management, Designed for Everyone
NVIDIA/SkillEvaluator 项目深度剖析与商业评估报告
NVIDIA/SkillEvaluator 项目深度剖析与商业评估报告
---
1. 核心定位与商业落地价值
1.1 解决的根本痛点 在 Agentic AI 逐渐从“单体 Prompt 工程”走向“工具与技能解耦(Modular Agent Skills)”的过程中,开发者通常面临三大核心痛点: 1. 技能质量与安全性不可控:第三方或社区贡献的 Agent Skill(包含工具定义、自然语言指令、脚本等)可能隐藏 Prompt Injection、恶意代码、凭据泄露或低劣的格式规范。 2. 知识冗余与指令冲突(Skill Bloat):当 Agent 挂载的 Skill 目录膨胀时,不同 Skill 之间存在严重的语义重叠(Semantic Overlap)和指令冲突,导致模型上下文窗口被挤占、工具检索(Tool Retrieval)召回失准或生成决策幻觉。 3. 缺乏“技能净增益”的度量体系:传统评估仅看模型在特定基准上的表现,无法量化评估“引入某个 Skill 是否真正改善了 Agent 的行为”,还是仅仅增加了延迟与 Token 开销。
NVIDIA/SkillEvaluator 正是在此背景下推出的多层级 AI Agent 技能评测与质量门禁系统。它不仅是静态检查器,更是一套度量技能对 Agent 行为影响的端到端框架。
Agent Skill 待测组件 │ ┌───────────────────────┼────────────────────────┐ ▼ ▼ ▼ Tier 1: 规范与安全 Tier 2: 语义与去重 Tier 3: 动态沙箱评测 (静态 AST/漏洞扫描) (向量表征/指令互斥) (A/B反事实基线对照) │ │ │ └───────────────────────┼────────────────────────┘ ▼ 量化度量报告 & CI/CD 发布门禁
1.2 企业级商业落地场景 企业私有 Agent 插件/技能市场(Enterprise Skill Registry):作为应用商店准入的自动化审查核心网关,保障入库技能的合规性、唯一性与安全性。 AgentOps 与 CI/CD 持续交付:在 Agent 研发流水线中,针对技能定义的每次 Commit 运行自动化测试,防止 Prompt 漂移或技能质量劣化。 技能目录治理与成本优化(Catalog Grooming):识别企业技能库中高频冲突或低效的冗余工具,优化 Agent 上下文检索效率,直接降低 Token 推理成本。
1.3 竞品差异化与生态护城河 相较于通用的 LLM 评估工具(如 Ragas、DeepEval、Inspect 等),SkillEvaluator 具备明显的差异化: 标准深度绑定:基于 Agent Skills 规范 与 NVIDIA 自身 Verified Skills 流水线构建,从资产组织层(文件树、指令集、依赖项)直接建模。 反事实行为评估(Counterfactual Impact):不是孤立评测 Skill 内容,而是测试 Agent 在“挂载 Skill”与“未挂载 Skill”下的真实行为差异。 成本渐进式架构:无需 API 即可运行本地确定性检查,按需渐进式调取大模型推理,规避企业评测的高昂成本。
在 README 中展示上榜徽章
[](https://github.fq6825.top/repo/NVIDIA/SkillEvaluator)