Softprobe面向 AI Agent 的绩效审查

捕获 Session · 审查 Steps · 改进关键所在

我在生产中做 AI Agent QA

用一条可粘贴提示连接 OpenCode 或 LangChain，捕获 Session 与 Steps，审查 Findings，并可选择把告警路由到 Slack。

Agent QA

编写套件，在 CI 中跑确定性与基于结果的评估，对比运行并设置发布门禁 — 兼容 Promptfoo 导入，清单由内核拥有，存储走 thelake。

Agent Evaluation

给服务挂上 Java Agent，录制真实流量，把它作为回归测试回放，依赖自动 Mock。

接入你的应用

用 Helm 部署 Softprobe 服务端。新版本发布到测试环境后，由流水线自动回放，并根据结论决定是否继续。

发版后自动回放

Istio Wasm 代理与 SESSIFY 会话上下文汇入业务流仪表盘 —— 按平台指南部署到 GKE。

业务观测