docs(qa): 台账 §8 记录 agentic 作者侧工具化轮次与 2026-10-08 只读视觉复跑读数

- 选型判定与淘汰依据(采用 Playwright Test Agents,本轮不引入 tester-army/e2e)
- nav-keyboard.spec.ts 四个读数(dev 10/6、production 10/2、稳定性 24/24、lint/tsc 0)
- 两条引擎/目标差异定性:WebKit 不响应真实 Tab(N-27 同源);dev 下触发器节点被整体替换
- 视觉只读复跑 94/31 与 §7 同数,分层 20 缺参照 + 11 已过时参照;只读性已验(0 写入)
- 更正 AGENTS.md 的「85 张未提交」假事实(该文件 gitignore,仅本机)并作废我自己
  写错的「^1.58.2 vs 1.60.0」一条
- §8.5 待授权清单:push / PR(无 token) / deploy(不建议本轮) / 基线写 / healer
This commit is contained in:
zhangxiang committed 2026-10-08 16:12:10 +08:00
1 parent 1b5c75ab64
commit 19569f63f9
1 file changed
+53
+53
View File
@@ -267,3 +267,56 @@ S-3(about/contact/erp-upgrade 无 revalidate + revalidateTag no-op,涉渲染
**本轮同步更正的台账假事实**(均为「文档写了但当场复核不成立」,已就地标注):§0 判定与 `:3-4` 的 HEAD/工作树状态、§2.2 **DEC-N21b**(`/admin` 其实有服务端 gating,入口是 `src/proxy.ts` 而非 `middleware.ts`;真残留=不查 `User.status` + 零测试)、§2.3 **AUTH-D1**(已闭合)、**AUTH-D3**(107 张基线全在库、缺参照实为 20 张、`/cases` 属覆盖缺口)、**AUTH-D2**(本轮含生产重 seed 及其权限依据)、§7.4 lint 104。 **本轮同步更正的台账假事实**(均为「文档写了但当场复核不成立」,已就地标注):§0 判定与 `:3-4` 的 HEAD/工作树状态、§2.2 **DEC-N21b**(`/admin` 其实有服务端 gating,入口是 `src/proxy.ts` 而非 `middleware.ts`;真残留=不查 `User.status` + 零测试)、§2.3 **AUTH-D1**(已闭合)、**AUTH-D3**(107 张基线全在库、缺参照实为 20 张、`/cases` 属覆盖缺口)、**AUTH-D2**(本轮含生产重 seed 及其权限依据)、§7.4 lint 104。
**发布侧未闭环(不属验收判定,见判定书 §5)**:`deploy:rollback` 不回滚容器/`public/`;`deploy.sh status` 不报磁盘;`rsync --delete public/` 与 `./uploads` 卷的关系部署前必须核实;nginx 安全头去重须单独投递。 **发布侧未闭环(不属验收判定,见判定书 §5)**:`deploy:rollback` 不回滚容器/`public/`;`deploy.sh status` 不报磁盘;`rsync --delete public/` 与 `./uploads` 卷的关系部署前必须核实;nginx 安全头去重须单独投递。
---
## §8 2026-10-08 · agentic 工具化轮次(作者侧 AI),提交 `1b5c75a`(本地未推)
本轮性质:**新增 e2e spec + 文档**,零生产源码改动 ⇒ 按 §7「封版不变式」只作废受影响的门禁行(`test:functional`、视觉只读、type-check、lint),不重跑全套。
### §8.1 选型与落地
| 项 | 判定 | 证据 |
|---|---|---|
| 采用 Playwright Test Agents(planner/generator/healer)作**作者侧** AI | ✅ 已落地 | 随本仓实装 `playwright@1.60.0` 自带 `init-agents`;agent 定义源 `node_modules/playwright/lib/agents/*.agent.md`;`.mcp.json` 指向仓内 `run-test-mcp-server`,**未新增依赖、未装 `@playwright/mcp`**;Playwright 自身不调 LLM ⇒ 运行期零模型 |
| 引入 `tester-army/e2e`(agentic 框架,Apache-2.0,7.5k★,`e2e@0.18.0`) | ❌ 本轮不引入 | 第二套 runner + `playwright-core 1.63.0`(与实装 1.60 并存两套浏览器二进制);无像素基线比对;官方文档明确不模拟 touch / color-scheme / reduced-motion ⇒ 接管不了 107 张参照、5 个 visual project 的 `reducedMotion:'reduce'`+`scale:'device'` 体系与 axe light\|dark;PR 报告器为 GitHub 形状而本仓是自建 Gitea。判据全表见 `docs/testing/agentic-test-authoring.md` |
| 候选淘汰 | 记录 | `@antiwork/shortest` npm 冻结 0.4.9/2025-04-01;`magnitude-test` 0.3.13/2026-02-08 停更;Stagehand v4 缓存仅 Browserbase 云端(本地每次推理);Skyvern AGPL-3.0 且 npm 无 `skyvern` 包;商业侧(QA Wolf/Virtuoso/Mabl/Momentic/Autonoma/bug0)云端执行或 GitHub-only,无 Gitea |
### §8.2 本轮新增用例(`e2e/nav-keyboard.spec.ts`,tag `@a11y`,4 例)
补的是真实空白:主导航 mega dropdown 此前只有 hover 路径(`nav-dropdown.spec.ts:8,28`),jsdom 单测 `mega-dropdown.test.tsx:55-74` 用 `fireEvent` 测过 Escape,但 `relatedTarget` 与真实焦点顺序在 jsdom 不成立。契约逐行取 `src/components/layout/mega-dropdown.tsx:35-46,62-76,94-178`。
| 读数 | 值 |
|---|---|
| dev 目标四 project | **10 passed / 6 skipped**,EXIT=0 |
| `E2E_TARGET=production`(三桌面 project) | **10 passed / 2 skipped**,EXIT=0 |
| 稳定性(`--workers=1 --repeat-each=3`,firefox+chromium) | **24 passed / 0 failed** |
| 是否进快速集 | 否:`test:e2e:fast` grep `@smoke\|@critical`,本 spec 为 `@a11y` ⇒ `test:all` 时长不变 |
| type-check / lint(提交后树复跑) | EXIT=0 / EXIT=0,本文件 0 告警;全仓 **104 warning**(沿用 §7 口径) |
**两条测到并定性的引擎/目标差异(都不是本仓缺陷,未用守卫压红)**:① WebKit 本机不响应真实 Tab——连续 4 次后 `activeElement` 仍是 `BODY`,而 `.focus()` 有效且 `matches(':focus')=true`,与 §N-27 同源(macOS WebKit 未开全键盘访问)⇒ 仅依赖 Tab 遍历的 2 例按 `browserName==='webkit'` 跳过(含 `chromium-mobile`);② dev 目标下触发器 DOM 节点在 hydration 后被**整体替换**(失败样本 `click=1` 而 `aria-expanded` 恒 false,通过样本 `click=0` 而 `aria=true` ⇒ 监听绑在已被换掉的旧节点上),生产产物不复现 ⇒ `openWithKeyboard()` 用 `toPass()` 重发**交互**(对齐 `primary-nav.ts:11-14` 既有写法)。移动断点另记:桌面 mega dropdown 在 390px 下整体不渲染(`element(s) not found`),抽屉导航的键盘契约须另立 spec。
### §8.3 视觉只读比对(本轮当前树复跑)
`npx playwright test visual-regression.spec.ts --update-snapshots=none`(dev 目标,125 例,5.1 分钟):
- **94 passed / 31 failed,EXIT=1** ⇒ 与 §7(2026-09-30 实测 94/31)**逐项同数**,本轮提交对视觉**零外溢**。
- 分层读数(剥 ANSI 后现取):**20 例缺参照**(`A snapshot doesn't exist`:`/products/erp-upgrade`、`/about/brand`、L2 卡片、L2 输入框 × 5 project)+ **11 例参照已过时**(`toHaveScreenshot(expected) failed`:`/products/erp` ×5、`/solutions/manufacturing` ×5 = Q-5/S-2 网格修复的预期版面收缩,样例差异 2,578,230 px / ratio 0.22;chromium-mobile 按钮 ×1 = 基线早于 N-15(c) `:visible` 修正)。
- **只读性已验**:`git status --porcelain e2e/visual-snapshots` = 0 修改、0 新增未跟踪 PNG(显式带 `--update-snapshots=none`,否则默认 `missing` 模式会静默新建 20 张参照)。
- dev 侧仍见 `eval() is not supported... CSP` + `React will never use eval() in production mode` 成对刷屏,即 N-11 在 dev 的形态;产物目标与 Lighthouse 口径不受影响(9/9 全 100),不列为阻塞。
### §8.4 台账假事实更正(本轮)
- `AGENTS.md:159` 的「磁盘上 85 张基线 PNG 相对 HEAD modified / 视觉通过依赖未提交状态」就地加日期更正——现取 `git ls-files e2e/visual-snapshots` = **107 张全部已入库、工作树干净**(同 §5.32)。**注**:`AGENTS.md` 被 `.gitignore:316` 排除,更正只作用于本机,不入提交;已入库记录在 `docs/lessons-learned.md:505`。
- 作废一条我自己写错的待办:`@playwright/test ^1.58.2` 与实装 `1.60.0` **并非矛盾**(caret 允许),先前记为「过期数字」不成立。
- 既存错位登记不改:`@playwright/test` 声明在 `dependencies` 而非 `devDependencies`,移动会影响构建依赖面,须作为独立动作。
### §8.5 待授权清单(本轮一律未执行)
| # | 动作 | 状态 | 判据 |
|---|---|---|---|
| A | `git push`(`qa/seal-2026-09-28` 领先 origin **2** 笔) | 未执行 | 共享状态,须明文批准 |
| B | 建 PR / 合并到 `main`(`HEAD` 领先 `origin/main` **36** 笔、落后 0) | 不可执行 | 本环境**无 Gitea token**(`env` 无 token、`~/.config/gitea` 不存在),PR-First 门禁走不通 |
| C | `npm run deploy`(`scripts/deploy.sh deploy`,变更线上) | **不建议本轮执行** | ① 视觉门禁 EXIT=1(31 红虽为已知待授权项,仍属未判定项);② 需先完成 B 才谈得上「发布 seal 内容」;③ `deploy:rollback` 已知不回滚容器/`public/`,回滚面弱 |
| D | 20 张缺参照的 `--update-snapshots` 写授权 + 11 张过时参照的人工追认 | 未执行 | 会改写已批准参照,须先人工核看差异 |
| E | N-15 剩余死选择器交 healer 清理 | 未执行 | 与 D 绑定(改选择器即改判据),须分步批 |