fix(ops): 磁盘写满事故收口(备份预检按模式取阈值 / nginx upstream 死锁) #64

Open
zhangxiang wants to merge 1 commits from fix/ops-hardening-20261101 into dev
pull from: fix/ops-hardening-20261101
Owner

变更摘要

2026-11-01 生产事故收口:www.novalon.cn 全站 502 约 5.5 小时、git.f.novalon.cn 500 约 13 小时,
根因是 /dev/vda1 写到 100%(20G/20G,可用 0)。本 PR 只收仓库侧的四处;另有三处守卫落在
服务器侧未入仓的运维脚本里(已在 runbook §7.2/§7.3 登记,见「不在本 PR 里的部分」)。

  • infra/cicd/backup/backup-cicd.sh:预检阈值与本轮实际开销绑定(含仓库导出时上调至
    BACKUP_FULL_MIN_FREE_GB,默认 4GB;thin 仍 1GB);归档失败即删残档;Jenkins 容器缺失时
    只跳过第 [3/3] 步,不再让 require_container 拦掉整轮备份(含 Gitea DB dump)。
  • nginx-static-production.conf:upstream jenkins_app 后端置 127.0.0.1:1 down,解开
    nginx -t: host not found in upstream "jenkins:8080" 导致无法 reload 的死锁(修 502 正需要 reload)。
  • docs/development/deploy-runbook.md:新增 §7(复发时的四步判据、已落地守卫表、9 项未闭环)。
  • docs/lessons-learned.md:新增 §5.53(诊断仪器在故障态下自身会失真这一族)。

关联 Issue

N/A:无对应 Issue。来源为生产事故现场排查(2026-11-01),判据与读数全部在 runbook §7 与本描述内。

提交前检查

已通过 bash scripts/check-pr-checklist.sh,三节完整、所有子项已勾选,不适用项标注 N/A:理由。

全链路检查

跨层变更(页面 ↔ 组件 ↔ CMS 内容模型 ↔ seed ↔ 测试)必须完成以下检查:

  • npm run type-check 通过(0 error)—— N/A:本 PR 改动仅 .sh / nginx conf / .md,git show --stat 可见 0 个 TS/TSX 文件
  • npm run lint 通过:0 error,且 warning 数未新增 —— N/A:同上,无 JS/TS 改动
  • 路由/链接真实:本次新增或改动的每个 href、Link 目标均已确认真实存在 —— N/A:无前端改动;线上 30 路由实测非 200 = 0(见「假绿灯纪律」)
  • 涉及 CMS 内容模型:字段定义与 seed 已同步,并说明是否需要重跑 npm run db:seed —— N/A:未碰内容模型;prod.db 只读 PRAGMA integrity_check = ok、ContentItem 38 行,未做任何 DB 写入
  • 涉及视觉/交互改动:已在新起的 next dev 上复核 —— N/A:无 UI 改动
  • 暗黑模式:新增样式使用语义 token —— N/A:无样式改动
  • 动效合规 —— N/A:无动效改动
  • 品牌红触达 —— N/A:无页面改动
  • 数字与宣称口径 —— N/A:无内容改动;本描述中的数字均为命令实测读数
  • 无遗留 console.log / TODO / FIXME / .only()

测试分层检查(L0–L3)

  • L0 单元 —— N/A:无新增 JS/TS 函数。改动的判据是 shell 脚本,验证方式见下条
  • L1 组件 —— N/A:无组件改动
  • L2 E2E —— N/A:改动不在应用代码内;恢复效果用线上真实探测(30 路由 + forge + git fetch)替代
  • L3 视觉回归 —— N/A:无 UI 样式改动
  • 新增机械守卫均带正控制,杜绝「匹配零」的假绿:漂移守卫用伪造 IP 172.20.0.99 → 172.20.0.3 触发(不是等一次自然重启);归档校验用 tar -tzf 实列出 4291 个条目(同日那份坏档在同一条命令上是 unexpected end of file);清理脚本用容器/镜像/网络三项 before-after diff 证明未误删
  • 已运行相关测试并全绿,无 .only() / 跳过态残留

质量门禁

  • npm run test:unit —— N/A:无源码改动(见全链路第 1 条)
  • npm run test:coverage —— N/A:同上,且未下调任何阈值(config/test/jest.config.js 不在本 PR 改动集内)
  • npm run test(Playwright E2E)—— N/A:默认 webServer 打 dev,与本次运维改动无交集
  • npm run check:contrast 与 npm run check:headings —— N/A:无样式/标题改动
  • npm run lighthouse —— N/A:非本批改动面;本轮聚焦恢复与门禁防复发
  • npm run test:security:headers 通过(若改动涉及响应头、CSP 或部署配置):本 PR 改了生产 nginx 配置,实测 reload 后 / 200、X-Frame-Options/CSP 各仅 1 条且无 unsafe-eval 回归;服务器与仓库 nginx-static-production.conf md5 一致(1bf99ea4…)
  • 文档已同步:docs/development/deploy-runbook.md §7、docs/lessons-learned.md §5.53。README.md / CONTEXT.md / CLAUDE.md 无需改动(未新增术语、命令或架构约束)
  • 提交信息符合 Conventional Commits,且是可独立评审的垂直切片:单提交 54783f40,只含运维门禁 + 文档
  • 破坏性/共享状态动作已单独取得授权,未夹带在常规变更里:移除 Jenkins、删除 4 个备份路径、删除 jenkins_jenkins_home 卷、启动 postgresql 容器、nginx -s reload —— 均经决策人逐条批准后执行;服务器侧三处改动均留带时间戳备份

假绿灯纪律

  • 门禁命令实际执行过并粘贴真实输出(失败口径如实记录),未以「理论上应该没问题」代替运行:
    bash -n 本地/远端各一次;--dry-run 两模式(阈值读数分别 1GB / 4GB);真实薄备份 SCRIPT_EXIT=0;
    真实全量备份 EXIT=0 且 gzip -t + tar -tzf(4291 条) 独立复验;docker-cleanup.sh 实跑后三项 diff 全空;
    漂移守卫伪造触发 → nginx -t 通过 → reload → 站点仍 200;git fetch origin EXIT=0。
    如实记录的失败口径:本 PR 未运行 type-check/lint/test:unit(判为 N/A,非「跑了且绿」);
    首次提交曾被 husky commit-msg 拦下(worktree 缺 node_modules,npx --no -- commitlint 解析不到),
    未用 --no-verify 绕过,改为临时链接主检出 node_modules 让钩子真实执行后提交,提交完撤链接
  • 未通过删测试、放宽断言、skip/todo 用例、下调阈值等方式让门禁变绿:
    阈值方向是收紧(新增按模式的上调逻辑);未删任何用例
  • 未把误报当问题「修掉」:docker ps 报 Exited (0) 在盘满态是仪器失真,未当成真故障处理;
    腾出空间后以 Up 6 hours (healthy) + 容器内部 200 交叉验证才定案,据此推翻并更正了我自己的第一版因果判断
  • 已披露本 PR 无法自决的遗留:ALERT_WEBHOOK_URL 三处为空(告警函数存在但被空值变为 no-op)、
    RCLONE_REMOTE 为空(备份仍同盘、不抗主机故障)—— 需决策人提供 webhook 与对象存储凭据,代理侧不编造
  • 已披露一处由批准动作引发的保护缺口回补:批准删 20261025 全量的口径是「已被今天那份取代」,
    而今天那份随后被 gzip -t 证伪为坏档,一度导致盘上无任何可用裸库归档;
    本批已补跑一次真实全量并独立校验(20261101_165600,2.1GB / 4291 条目)

不在本 PR 里的部分(服务器侧未入仓脚本,已实跑验证)

文件 守卫 备份
/home/novalon/docker-app/scripts/docker-cleanup.sh 容器/镜像/网络清理改保护名单逐个判定,删除 blanket image prune -a(它是删掉 postgresql 容器与 alpine 镜像的元凶) 原脚本已被覆盖(内容已完整读取留档,未落 .bak——此处如实记为流程瑕疵)
/usr/local/bin/container-monitor.sh 新增 check_nginx_upstream_drift:容器 IP 变化时先 nginx -t 再 reload container-monitor.sh.bak.20261101_1650
/home/novalon/docker-app/novalon-nginx/nginx-static-production.conf 与本 PR 同一条改动 nginx-static-production.conf.bak.20261101_1635

⇒ 建议下一个动作:把这三个运维脚本纳入仓库(runbook §7.3.3),否则它们不可评审、不可回滚。

## 变更摘要 2026-11-01 生产事故收口:`www.novalon.cn` 全站 502 约 5.5 小时、`git.f.novalon.cn` 500 约 13 小时, 根因是 `/dev/vda1` 写到 **100%(20G/20G,可用 0)**。本 PR 只收**仓库侧的四处**;另有三处守卫落在 服务器侧未入仓的运维脚本里(已在 runbook §7.2/§7.3 登记,见「不在本 PR 里的部分」)。 - `infra/cicd/backup/backup-cicd.sh`:预检阈值与本轮实际开销绑定(含仓库导出时上调至 `BACKUP_FULL_MIN_FREE_GB`,默认 4GB;thin 仍 1GB);归档失败即删残档;Jenkins 容器缺失时 只跳过第 [3/3] 步,不再让 `require_container` 拦掉整轮备份(含 Gitea DB dump)。 - `nginx-static-production.conf`:`upstream jenkins_app` 后端置 `127.0.0.1:1 down`,解开 `nginx -t: host not found in upstream "jenkins:8080"` 导致**无法 reload** 的死锁(修 502 正需要 reload)。 - `docs/development/deploy-runbook.md`:新增 §7(复发时的四步判据、已落地守卫表、9 项未闭环)。 - `docs/lessons-learned.md`:新增 §5.53(诊断仪器在故障态下自身会失真这一族)。 ## 关联 Issue N/A:无对应 Issue。来源为生产事故现场排查(2026-11-01),判据与读数全部在 runbook §7 与本描述内。 ## 提交前检查 > 已通过 `bash scripts/check-pr-checklist.sh`,三节完整、所有子项已勾选,不适用项标注 `N/A:理由`。 ## 全链路检查 跨层变更(页面 ↔ 组件 ↔ CMS 内容模型 ↔ seed ↔ 测试)必须完成以下检查: - [x] `npm run type-check` 通过(0 error)—— N/A:本 PR 改动仅 `.sh` / nginx conf / `.md`,`git show --stat` 可见 0 个 TS/TSX 文件 - [x] `npm run lint` 通过:0 error,且 warning 数未新增 —— N/A:同上,无 JS/TS 改动 - [x] 路由/链接真实:本次新增或改动的每个 `href`、`Link` 目标均已确认真实存在 —— N/A:无前端改动;线上 30 路由实测非 200 = 0(见「假绿灯纪律」) - [x] 涉及 CMS 内容模型:字段定义与 seed 已同步,并说明是否需要重跑 `npm run db:seed` —— N/A:未碰内容模型;`prod.db` 只读 `PRAGMA integrity_check` = ok、`ContentItem` 38 行,未做任何 DB 写入 - [x] 涉及视觉/交互改动:已在新起的 `next dev` 上复核 —— N/A:无 UI 改动 - [x] 暗黑模式:新增样式使用语义 token —— N/A:无样式改动 - [x] 动效合规 —— N/A:无动效改动 - [x] 品牌红触达 —— N/A:无页面改动 - [x] 数字与宣称口径 —— N/A:无内容改动;本描述中的数字均为命令实测读数 - [x] 无遗留 `console.log` / `TODO` / `FIXME` / `.only()` ## 测试分层检查(L0–L3) - [x] **L0 单元** —— N/A:无新增 JS/TS 函数。改动的判据是 shell 脚本,验证方式见下条 - [x] **L1 组件** —— N/A:无组件改动 - [x] **L2 E2E** —— N/A:改动不在应用代码内;恢复效果用线上真实探测(30 路由 + forge + `git fetch`)替代 - [x] **L3 视觉回归** —— N/A:无 UI 样式改动 - [x] 新增机械守卫均带**正控制**,杜绝「匹配零」的假绿:漂移守卫用**伪造 IP** `172.20.0.99 → 172.20.0.3` 触发(不是等一次自然重启);归档校验用 `tar -tzf` 实列出 **4291 个条目**(同日那份坏档在同一条命令上是 `unexpected end of file`);清理脚本用**容器/镜像/网络三项 before-after diff** 证明未误删 - [x] 已运行相关测试并全绿,无 `.only()` / 跳过态残留 ## 质量门禁 - [x] `npm run test:unit` —— N/A:无源码改动(见全链路第 1 条) - [x] `npm run test:coverage` —— N/A:同上,且**未下调任何阈值**(`config/test/jest.config.js` 不在本 PR 改动集内) - [x] `npm run test`(Playwright E2E)—— N/A:默认 webServer 打 dev,与本次运维改动无交集 - [x] `npm run check:contrast` 与 `npm run check:headings` —— N/A:无样式/标题改动 - [x] `npm run lighthouse` —— N/A:非本批改动面;本轮聚焦恢复与门禁防复发 - [x] `npm run test:security:headers` 通过(若改动涉及响应头、CSP 或**部署配置**):本 PR **改了生产 nginx 配置**,实测 reload 后 `/` 200、`X-Frame-Options`/CSP 各仅 1 条且无 `unsafe-eval` 回归;服务器与仓库 `nginx-static-production.conf` **md5 一致**(`1bf99ea4…`) - [x] 文档已同步:`docs/development/deploy-runbook.md` §7、`docs/lessons-learned.md` §5.53。`README.md` / `CONTEXT.md` / `CLAUDE.md` 无需改动(未新增术语、命令或架构约束) - [x] 提交信息符合 Conventional Commits,且是可独立评审的垂直切片:单提交 `54783f40`,只含运维门禁 + 文档 - [x] 破坏性/共享状态动作已单独取得授权,未夹带在常规变更里:移除 Jenkins、删除 4 个备份路径、删除 `jenkins_jenkins_home` 卷、启动 postgresql 容器、`nginx -s reload` —— 均经决策人逐条批准后执行;服务器侧三处改动均留带时间戳备份 ## 假绿灯纪律 - [x] 门禁命令**实际执行过**并粘贴真实输出(失败口径如实记录),未以「理论上应该没问题」代替运行: `bash -n` 本地/远端各一次;`--dry-run` 两模式(阈值读数分别 1GB / 4GB);真实薄备份 **SCRIPT_EXIT=0**; 真实全量备份 **EXIT=0** 且 `gzip -t` + `tar -tzf`(4291 条) 独立复验;`docker-cleanup.sh` 实跑后三项 diff 全空; 漂移守卫伪造触发 → `nginx -t` 通过 → reload → 站点仍 200;`git fetch origin` **EXIT=0**。 **如实记录的失败口径**:本 PR 未运行 `type-check`/`lint`/`test:unit`(判为 N/A,非「跑了且绿」); 首次提交曾被 husky `commit-msg` 拦下(worktree 缺 `node_modules`,`npx --no -- commitlint` 解析不到), 未用 `--no-verify` 绕过,改为临时链接主检出 `node_modules` 让钩子真实执行后提交,提交完撤链接 - [x] 未通过删测试、放宽断言、`skip`/`todo` 用例、下调阈值等方式让门禁变绿: 阈值方向是**收紧**(新增按模式的上调逻辑);未删任何用例 - [x] 未把误报当问题「修掉」:`docker ps` 报 `Exited (0)` 在盘满态是**仪器失真**,未当成真故障处理; 腾出空间后以 `Up 6 hours (healthy)` + 容器内部 200 交叉验证才定案,据此**推翻并更正了我自己的第一版因果判断** - [x] 已披露本 PR 无法自决的遗留:`ALERT_WEBHOOK_URL` 三处为空(告警函数存在但被空值变为 no-op)、 `RCLONE_REMOTE` 为空(备份仍同盘、不抗主机故障)—— 需决策人提供 webhook 与对象存储凭据,代理侧不编造 - [x] 已披露一处由批准动作引发的**保护缺口回补**:批准删 20261025 全量的口径是「已被今天那份取代」, 而今天那份随后被 `gzip -t` 证伪为坏档,一度导致盘上无任何可用裸库归档; 本批已补跑一次真实全量并独立校验(`20261101_165600`,2.1GB / 4291 条目) ## 不在本 PR 里的部分(服务器侧未入仓脚本,已实跑验证) | 文件 | 守卫 | 备份 | |---|---|---| | `/home/novalon/docker-app/scripts/docker-cleanup.sh` | 容器/镜像/网络清理改保护名单逐个判定,删除 blanket `image prune -a`(它是删掉 `postgresql` 容器与 `alpine` 镜像的元凶) | 原脚本已被覆盖(内容已完整读取留档,未落 `.bak`——此处如实记为流程瑕疵) | | `/usr/local/bin/container-monitor.sh` | 新增 `check_nginx_upstream_drift`:容器 IP 变化时先 `nginx -t` 再 reload | `container-monitor.sh.bak.20261101_1650` | | `/home/novalon/docker-app/novalon-nginx/nginx-static-production.conf` | 与本 PR 同一条改动 | `nginx-static-production.conf.bak.20261101_1635` | ⇒ 建议下一个动作:把这三个运维脚本纳入仓库(runbook §7.3.3),否则它们不可评审、不可回滚。
zhangxiang added 1 commit 2026-11-01 17:01:28 +08:00
生产全站 502 约 5.5 小时、Gitea 500 约 13 小时,根因是 / 写到 100%(20G/20G)。
仓库侧落这四处;另三处守卫在服务器侧脚本(未入仓,已在 runbook §7.3 登记)。

- backup-cicd.sh:预检阈值必须与本轮实际开销绑定。原 .env 把 MIN_FREE_GB 从 3 降到 1,
  于是 2GB 可用时放行了一次要写 2.6GB 的全量导出,tar 写到 2.0GB 撞盘。改为含仓库导出时
  上调至 BACKUP_FULL_MIN_FREE_GB(默认 4GB),thin 仍按 1GB —— 一并抬高等于又关掉
  「唯一副本、不可重建」的那份 DB 备份,是同一个错法的两个方向。
- backup-cicd.sh:归档失败即删残档。半截归档把一次备份失败升级成了全站故障,
  且 set -e 让末尾的保留清理从未执行,形成「失败越多越容易满盘」的正反馈。
- backup-cicd.sh:Jenkins 容器缺失时只在预检记录并跳过第 [3/3] 步。原先的
  require_container 会让整轮备份(含 Gitea DB dump)在预检阶段就中止。
- nginx-static-production.conf:upstream jenkins_app 后端置 127.0.0.1:1 down。
  Jenkins 下线后 `server jenkins:8080` 让 nginx -t 报 host not found,
  而修 502 正需要 reload,形成死锁。保留结构以便一行还原。
- runbook §7:复发时的四步判据(盘满时 docker ps 读数不可信)、已落地守卫表、9 项未闭环。
- lessons §5.53:诊断仪器在故障态下自身会失真这一族。§5.52 空号是他人未落库的在途段。
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u origin fix/ops-hardening-20261101:fix/ops-hardening-20261101
git checkout fix/ops-hardening-20261101
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: novalon/novalon-website#64