{"repo":"YellowSeaa/PromptWorks","free":true,"listed":false,"github":"https://github.com/YellowSeaa/PromptWorks","clone":"git clone https://github.com/YellowSeaa/PromptWorks.git","description":"一个Prompts管理与测试工具。A Prompts management and testing tool.","language":"Python","stars":266,"topics":["llm","prompt","testing-tools"],"license":"Apache-2.0","category":"ai-agents","readme_excerpt":"中文 English 更新记录 PromptWorks：面向团队的 Prompt 评估与优化工作台 PromptWorks 是一个聚焦 Prompt 资产管理、批量评估与 AI 优化的全栈解决方案，仓库内包含 FastAPI 后端与 Vue + Element Plus 前端。它帮助团队把 Prompt 从“写完就用”的零散文本，沉淀为可版本化、可测试、可评分、可持续优化的智能资产。 平台围绕一条完整工作流设计： 管理 Prompt → 配置测试任务 → 运行多模型/多版本评估 → AI 评分诊断 → 生成优化建议 → 沉淀为新版本 。无论是客服话术、信息抽取、智能问答还是内部业务助手，都可以用同一套流程持续验证和改进提示词质量。 ✨ 核心能力 - AI 评分与优化 ：对测试输出进行百分制评分，展示准确性、完整性、清晰度、稳定性等维度分，并基于评分理由生成 Prompt 改写、参数建议、模型建议和验证计划。 - Prompt 全生命周期管理 ：支持提示词创建、版本迭代、标签归类、作者信息与审计记录，让团队可以追踪每一次 Prompt 变更。 - 批量评估测试 ：围绕 Prompt 版本、模型、参数集与测试样本生成最小测试单元，支持多轮运行、结果对比与进度追踪。 - 版本对比与沉淀 ：提供版本差异视图，并可将 AI 优化工作台中的改写草稿一键保存为新的 Prompt 版本。 - 模型运营与用量监控 ：集中管理大模型供应商、模型配置与调用记录，为模型选择、成本评估和 A/B 实验提供依据。 🧠 AI 评估与优化闭环 PromptWorks 新版重点强化了 AI 评估和自动优化能力。你可以先创建测试任务，让不同 Prompt 版本、不同模型或不同参数组合跑出真实输出；随后使用指定评估模型逐条打分，系统会汇总平均分、维度分、评分理由和低分问题。进入独立的 AI 优化工作台后，平台会基于这些评分结果生成更具体的改写建议，而不是只给一个笼统结论。 这个闭环特别适合处理“Prompt 看起来差不多，但线上效果不稳定”的场景：团队可以看到到底是准确性不足、信息遗漏、表达不清，还是某个模型/参数组合更容易波动；再把优化后的 Prompt 草稿、参数建议和验证计划继续带回下一轮测试。 - 评分诊断 ：按输出逐条记录总分、维度分与评分理由，方便定位具体失败原因。 - 优化建议 ：自动生成总体建议、参数建议、模型建议与后续验证计划。 - Prompt 改写 ：给出可编辑的 Prompt 改写结果，并支持复制或沉淀为新版本。 - 持续迭代 ：用同一任务链路对比优化前后表现，减少依赖主观感觉调 Prompt 的成本。 AI 评分与优化工作台 🎯 适用场景 - 团队 Prompt 资产管理 ：统一维护业务提示词、版本记录和协作信息，避免散落在文档、聊天记录或个人脚本里。 - Prompt 改版回归测试 ：在发布新版本前批量比较旧版与新版输出，降低改动带来的质量风险。 - 模型选型与参数调优 ：用同一批样本横向比较不同模型、温度、Top-P 等配置的稳定性与质量。 - 质量复盘与优化沉淀 ：把评分理由、优化建议和验证计划沉淀到版本迭代流程中，让 Prompt 优化可解释、可复现。 🧱 技术栈 - 后端 ：Python 3.10+、FastAPI、SQLAlchemy、Alembic、Redis、Celery。 - 前端 ：Vite、Vue 3（TypeScript）、Vue Router、Element Plus。 - 工具链 ：uv 进行依赖与任务管理，PoeThePo","default_branch":null,"files":null,"tree":[],"storefront":"/r/YellowSeaa","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/YellowSeaa/PromptWorks/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}