docs(qa): §14.1 纯净对照翻转定性——7 条导航红是本批未重锚,非基线既有
基线树配上它自己的 .env 与 seed 数据后重跑同样 8 个 spec:162 passed / 8 failed, 8 条全是 mobile-accessibility.spec.ts:41 的 axe 扫描;而第一次对照(旧代码 + 本批新数据) 报的 7 条导航类红在纯净基线上是绿的。 ⇒ 那 7 条是本批引入的 spec 未重锚(§11 改双轴导航时漏掉 mobile.spec.ts、 p2-functional-e2e:99/132、user-journey:56/200、website-acceptance:139), 不是既有红;axe:41 那 8 条才是既有红。p1:579、p4:338/396、触摸目标两条与 @admin 三条 在纯净基线不红 ⇒ 归入本批,须逐条复现后定性,不许用放宽断言或加 retry 换绿。 另记仪器事实:同一份旧代码配不同数据,红项集合完全不同 —— 基线成对状态(代码+数据) 必须一起固定,否则会把自引入的回归读成既有状态;我上一条正是这样读反的, 且错在保守方向(更难被发现)。对照树已恢复原状(删掉临时 .env 与 dev.db)。
This commit was merged in pull request #37.
This commit is contained in:
1 parent
fe80e4dcb7
commit
53c0541c2a
1 file changed
+33
@@ -995,3 +995,36 @@ schema 落地后不能拿"之前绿过"当终版读数,故整链重跑(`docs
|
||||
3. A 层那 7 条属 §11 IA 改动的遗留锚点,另开修复 PR(与 `p6-missing-paths`/`nav-dropdown` 同法重锚)。
|
||||
4. 全量 `test:functional` 纳入交付门禁的口径要写进 `AGENTS.md` §5——现 `test:all` 只含 `test:e2e:fast`,
|
||||
「跑过 fast」与「跑过全量」必须在文档里区分开,否则下一次还会有人把前者当后者勾上。
|
||||
|
||||
### 14.1 纯净对照跑完:A/B 层定性翻转(我上一条的对照结论被自己的新读数推翻)
|
||||
|
||||
上一节的"混杂披露"补成了纯净对照:给基线树 `cov-base` @ `da9a5cb6` 配它**自己的** `.env` + `prisma generate`
|
||||
+ `npm run db:seed`(38 条内容条目),再跑同样 8 个 spec × chromium。
|
||||
|
||||
| 对照 | 代码 / 数据 | 结果 |
|
||||
|---|---|---|
|
||||
| 第一次(混杂) | 旧代码 `da9a5cb6` + **本批的新 dev.db** | 163 passed / **7 failed**(全在导航类锚点:`mobile.spec.ts:45/61`、`p2:99/132`、`user-journey:56/200`、`website-acceptance:139`) |
|
||||
| 纯净对照 | 旧代码 `da9a5cb6` + **旧代码自己 seed 的数据** | 162 passed / **8 failed**,且 8 条**全是** `mobile-accessibility.spec.ts:41` 的 axe-core 扫描(8 个 URL × 1.0m) |
|
||||
| 本批 | `0da1fa42` + 本批数据 | 1032 passed / **36 failed** / 44 skipped(4 project 全量) |
|
||||
|
||||
⇒ **定性翻转**(这才是这节真正的产出):
|
||||
|
||||
1. **那 7 条导航类红不是基线既有红**,而是"旧代码遇到新数据"的错配产物 —— 它们在纯净基线上是绿的,
|
||||
在本批上红 ⇒ **本批引入的 spec 未重锚**(§11 把一级导航改成 行业/能力/洞察/关于我们,
|
||||
当时只重锚了 `nav-dropdown`/`p6-missing-paths`/`uj-11`/`p2`/`p5`/`user-journey:216` 六处,
|
||||
`mobile.spec.ts`、`p2-functional-e2e.spec.ts:99/132`、`user-journey.spec.ts:56/200`、`website-acceptance.spec.ts:139` 被漏掉)。
|
||||
2. **`mobile-accessibility.spec.ts:41` 的 axe 扫描 8 条是既有红**(纯净基线同样红)⇒ 不属本批,但也在 dev 上红。
|
||||
3. 其余在本批红、在纯净基线**不红**的,全部落入"本批引入":`p1-brand-visual-audit.spec.ts:579`
|
||||
(证言/案例区不可见 ⇒ 与 DEC-N4 门槛的作用面重合,必须重测,不接受"应该无关")、
|
||||
`p4-performance-a11y.spec.ts:338/396`(ARIA 与焦点可见)、
|
||||
`mobile-accessibility.spec.ts:76` 与 `mobile-performance.spec.ts:287`(触摸目标 AA 2.5.8 ≥24px 硬门禁)、
|
||||
`user-journey.spec.ts:562/773/854`(UJ-03/06/07 `@admin`,失败仅 ~170ms ⇒ 疑登录/权限,含 DEC-N5 的 admin 路由改动可能)。
|
||||
|
||||
⇒ 另记一条仪器事实:**同一份旧代码,配不同数据,红项集合完全不同**。
|
||||
所以「基线也有红」这句话必须以「基线代码 + 基线数据」的成对状态来证,否则会把**自己引入的回归读成既有状态**
|
||||
——我上一条正是这样读反了,方向还是保守的那一侧(把新红当成旧红),这类错误比反向更难被发现。
|
||||
|
||||
**下一步(本批不做,作为修复 PR 的验收条件,已在 §14 待办里)**:
|
||||
按 (1)(3) 两组逐条修根因 —— 漏锚的 spec 按 §11.3 同一手法以实测 DOM 重锚;
|
||||
`p1:579`、`p4:338/396`、触摸目标两条与 `@admin` 三条必须先复现再定性(产品缺陷还是测试口径),
|
||||
不允许用放宽断言或加 retry 换绿。(2) 的 axe 既有红另案。
|
||||
Reference in new issue
Block a user