Skip to content

审查差异 ​

回放结束后,回放报告告诉你整体结论和差异原因。本页讲怎么逐条看一个用例的差异,以及遇到不是 bug 的差异时怎么处理:忽略某个字段,或者把这条用例标记为通过。

多数差异不是 bug。时间戳、流水号、随机 ID 每次回放都不一样,但并没有出错。把它们处理掉,真正的问题才会显出来。

打开一个用例 ​

在回放报告里切到「用例列表」。左边按接口列出用例,可以只看「有差异」「回放失败」或「通过」的,也可以按接口、描述或用例 ID 搜索。点一个用例,右边显示它的详情。

打开用例查看差异

用例详情的顶部:

  • 接口名和结果(如「值差异」)。AI 分析过的用例,下面一行是分析结论,点「在报告中查看」回到报告里对应的位置。
  • 右侧按钮:「标记通过」「回放这一条」(另起一个只含这条录制的新计划,原计划不动)、「固化」「查看用例日志」「查看录制详情」(这条用例录制时的完整调用链和数据)、「让 AI 分析此用例」。

下面按调用顺序列出这次请求的入口和每个依赖调用,每一行标出:

  • 响应来源:这次回放里,这个调用是用录制数据应答的,还是走了真实调用。
  • 对比结果:值差异、不参与对比、无结论等。

勾选「只看差异」只显示有差异的调用。「N 处已忽略」汇总了这个用例上被忽略规则挡下的字段。

读一处差异 ​

点一个有差异的调用,打开差异视图,左边是录制时的,右边是这次回放的:

  • 入口对比的是响应:「录制响应 · 基准」和「回放响应 · 本次」。
  • 依赖调用(数据库、Redis、下游接口等)对比的是请求:「录制请求 · 基准」和「回放请求 · 本次」,看服务这次发出去的参数和录制时是否一致。少了或多了调用时,只有一边有内容。

不一致的值高亮显示;被忽略规则挡下的字段划了删除线,不算差异。

顶部显示这个调用有几处差异,可以用上下箭头跳到上一处、下一处。

忽略一个字段 ​

最常用的操作。像时间戳这样每次都变的字段,本来就不该参与对比。

  1. 鼠标移到差异行上,点行旁出现的忽略图标;或者先点选这一行,再点右上角的「忽略规则」。
  2. 弹出的「忽略差异」里,先确认要忽略的是哪个字段:按路径(例如 payable 的第 2 个元素),或者按字段名(所有名为某个名字的字段)。
  3. 选范围:

忽略差异的范围选项

范围忽略哪里什么时候生效
仅当前用例只有这个用例立即
当前接口 · 不含下游这个接口的所有用例,只管入口响应下次回放
这条 SQL / 这个 Redis 命令 / 这个下游接口 … · 不限入口这个依赖调用,不管是从哪个接口调用的下次回放
整个应用这个应用的所有用例下次回放

「仅当前用例」只改这一次的判定。其余三种会写成一条对比规则,以后每次回放都生效;对已经跑完的这次回放,要重新对比才能看到效果。

忽略一个字段

标记用例通过 ​

有时差异确实存在,但可以接受:比如这是一次有意的改动,或者差异来自 Softprobe 自己的录制或对比问题。这时不必逐个忽略字段,直接把整条用例标记为通过。

  1. 在用例详情顶部点「标记通过」。
  2. 选原因:「差异符合预期(设计如此)」或「Softprobe 采集/对比问题」。
  3. 可以写备注,点「确认标记」。

只改判这一个用例,计入通过率;原因和备注会留档。

报告里「按原因」的每张卡片可以一次标记一组用例,见 回放报告。

标记用例通过

忽略还是标记通过 ​

标记通过忽略字段(写成对比规则)
管多大范围这一次回放里的这一个用例以后每次回放里的同类字段
适合看过了、确认可以接受的一条用例天生每次都变的字段

一句话:只想改这一次的判定,标记通过;以后都不想再看到,忽略字段。

重新对比 ​

新加的对比规则从下次回放开始生效,不会改变已经跑完的回放。想马上看到效果,又不想重新回放:

在这次回放的差异视图里加了或删了规则后,页面会提示「立即重新对比」,回放顶部也会出现「规则已变更 · 重新对比」按钮。点其中任意一个,Softprobe 用最新的规则重新检查这次回放已经存下的结果,完成后提示有几条转为通过、几条转为失败,用例列表、计数和通过率一起更新。

重新对比不是重新回放

重新对比只拿已经存下的响应按新规则重新判定,不会再给你的服务发任何请求。

这个入口只在当前页面有效,刷新或离开后就没有了。在「对比规则」配置页改的规则,也不会出现这个入口:要让已经跑完的回放按新规则判定,再回放一次。

加规则后重新对比

取消忽略 ​

改主意了:在划了删除线的字段上点「取消忽略」。Softprobe 会删掉挡住它的那条标记或规则,并提示删了什么:

  • 挡住它的是「仅当前用例」的标记:删掉后立即生效,这个字段马上重新参与对比。
  • 挡住它的是接口级或应用级的规则:规则删掉后从下次回放开始生效;想在这次回放里看到效果,点提示里的「立即重新对比」。按字段名或通配符写的规则,删掉后其他被它挡住的字段也会重新参与对比。
  • 规则配在全局默认规则里:会提示你到「对比规则」页处理。

查看这个用例忽略了什么 ​

点用例上的「N 处已忽略」,面板按调用列出每个被忽略的字段和挡住它的规则,也可以在这里直接取消忽略。

查看用例忽略了什么

下一步 ​

同一个字段在很多用例上都要忽略,就把它配成规则:配置对比规则。

捕获 Session · 审查 Steps · 改进关键所在