PromptOps

PromptOps 是一个面向企业提示词治理的控制台，覆盖 Prompt 资产管理、调试验证、评测回归、发布审批、调用审计和模型接入配置。

页面截图总览

Dashboard

功能：

• 查看 Prompt 总数、发布数、调用量和平均评分等核心指标。
• 观察调用趋势、运行健康度、最近发布和最近测试记录。

截图：

Prompt 列表

功能：

• 查看全部 Prompt 资产。
• 按名称、内容、标签、状态、负责人进行筛选。
• 执行查看、编辑、复制、删除和发布操作。

截图：

模板库

功能：

• 沉淀可复用的 Prompt 模板。
• 统一模板结构和最佳实践，支持从模板继续编辑。

截图：

Prompt 编辑器

功能：

• 编辑 Prompt 正文、变量、输出格式和模型参数。
• 配置标签、负责人、默认模型、知识库和工具绑定。
• 管理版本发布前的元信息。

截图：

版本管理

功能：

• 查看 Prompt 的版本时间线和版本摘要。
• 对比版本差异，执行发布和回滚。

截图：

Playground

功能：

• 组合 Prompt、版本、模型和知识库进行在线调试。
• 查看输出结果、Token 消耗、响应耗时和调用诊断。

截图：

测试集管理

功能：

• 维护评测数据集列表。
• 管理测试集基础信息，支持样本导入导出场景。

截图：

测试集详情

功能：

• 查看指定测试集下的样本内容。
• 维护问题、标准答案、分类和标签等字段。

截图：

测试执行

功能：

• 按 Prompt、版本、数据集和模型发起评测任务。
• 实时查看进度、完成数、剩余数和准确率。

截图：

测试报告列表

功能：

• 查看历史评测任务。
• 追踪任务状态、得分、成本和耗时等指标。

截图：

评测报告详情

功能：

• 分析准确率、召回率、平均评分、Token 成本和响应时间。
• 查看分类准确率、评分分布和错误案例。

截图：

发布中心

功能：

• 管理 DEV、TEST、STAGING、PROD 环境的发布流程。
• 查看发布记录并执行审批、发布动作。

截图：

日志中心

功能：

• 检索模型调用日志。
• 查看 Prompt、模型、用户、Token、耗时和完整上下文。

截图：

AI 供应商管理

功能：

• 管理模型供应商接入配置。
• 进行连通性测试、启停控制和模型同步。

截图：

模型设置

功能：

• 查看平台已接入模型列表。
• 管理模型状态、上下文窗口和归属供应商。

截图：

用户设置

功能：

• 维护平台用户列表。
• 管理用户账号、角色和启用状态。

截图：

角色设置

功能：

• 管理角色与权限矩阵。
• 支撑基于 RBAC 的后台治理能力。

截图：