{"repo":"nagi-studio/nagi-bench","free":true,"listed":false,"github":"https://github.com/nagi-studio/nagi-bench","clone":"git clone https://github.com/nagi-studio/nagi-bench.git","description":"One-shot LLM eval cases by NAGI STUDIO - same prompt, different agents (model + harness), runnable artifacts side by side.","language":"HTML","stars":57,"topics":["agents","benchmark","claude","gemini","gpt","harness","llm"],"license":null,"category":"ai-agents","readme_excerpt":"NAGI BENCH 中文 English NAGI STUDIO 的 LLM 测评案例集：同一段提示词，不同「模型 × Harness × 思考配额」组合，一次生成、不许返工，并排对比它们交出的可运行作品。 线上站点： https://bench.nagi.fun/ 模型与 Harness 的关系 Model + Harness = Agent —— 模型只是权重，套上运行环境才成为一个能干活的智能体（Agent）。本仓库的测评单位就是一个 Agent。 - 模型（Model） ：权重与推理引擎本身，如 GPT-5.5、Gemini 3.1 Pro、Claude Fable 5。思考配额（effort）是模型自身的能力旋钮——同一份权重在高/低思考强度下的推理深度判若两个模型，因此它和权重同属「模型」这一维度，脱离 effort 谈模型表现并不公允；本仓库默认拉满（Max），并在每个组合里如实标注。 - Harness（运行环境） ：包裹模型的产品/脚手架，如 Codex CLI、Cursor、AntiGravity、Claude 网页版——它决定工具调用、系统提示词、上下文管理与续写策略，对最终产出的影响往往不亚于模型本身。 - 因此本仓库的测评单位是一个 Agent ：同一个模型（含其思考配额）换一个 Harness，就是另一个 Agent，记为不同条目（例如 GPT-5.5 Pro 与跑在 Codex CLI 里的 GPT-5.5（xhigh）是同一模型家族的两个 Agent）。 - 测的是 Harness 开箱即用的默认形态 ：请勿额外加载 skill / 插件 / MCP / 自定义系统提示——它们对产出的影响不亚于换 Harness，会破坏 Agent 之间的可比性。经维护者确认有展示价值的增强产出，可以在 run 上标记 \"evaluation\": \"showcase\" 后仅供查看；它不会进入 Arena、投票、排行榜或达标场次计算。 已测组合 / Registry 此表由 bun scripts/update-registry.ts 从 models/ .json 生成；合并到 main 后由 CI 自动同步，贡献者无需手改。 模型 厂商 运行环境（Harness）× 思考配额 产出 --- --- --- --- Claude Opus 5 Anthropic Claude Code · Max Claude Code · xhigh Claude Code · High 16 Claude Fable 5 Anthropic Claude Web App · Max Claude Code · High Claude Code · Max Claude Code · xhigh Cursor · High 11 Claude Sonnet 5 Anthropic Claude Code · Max 01 Claude Opus 4.8 Anthropic Claude Code · Max Claude Code · xhigh 08 Claude Opus 4.7 Anthropic Claude Code · Max Cursor · Max 05 Claude Opus 4.6 Anthropic Claude Code · Max Cursor · Max 04 Claude Opus 4.5 Anthropic Cursor · Thinking 02 Claude Sonnet 4.6 Anthropic Cla","default_branch":null,"files":null,"tree":[],"storefront":"/r/nagi-studio","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/nagi-studio/nagi-bench/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}