fix/ops-hardening-20261101
dev
2026-11-01 生产事故收口:www.novalon.cn 全站 502 约 5.5 小时、git.f.novalon.cn 500 约 13 小时, 根因是 /dev/vda1 写到 100%(20G/20G,可用 0)。本 PR 只收仓库侧的四处;另有三处守卫落在 服务器侧未入仓的运维脚本里(已在 runbook §7.2/§7.3 登记,见「不在本 PR 里的部分」)。
www.novalon.cn
git.f.novalon.cn
/dev/vda1
infra/cicd/backup/backup-cicd.sh
BACKUP_FULL_MIN_FREE_GB
require_container
nginx-static-production.conf
upstream jenkins_app
127.0.0.1:1 down
nginx -t: host not found in upstream "jenkins:8080"
docs/development/deploy-runbook.md
docs/lessons-learned.md
N/A:无对应 Issue。来源为生产事故现场排查(2026-11-01),判据与读数全部在 runbook §7 与本描述内。
已通过 bash scripts/check-pr-checklist.sh,三节完整、所有子项已勾选,不适用项标注 N/A:理由。
bash scripts/check-pr-checklist.sh
N/A:理由
跨层变更(页面 ↔ 组件 ↔ CMS 内容模型 ↔ seed ↔ 测试)必须完成以下检查:
npm run type-check
.sh
.md
git show --stat
npm run lint
href
Link
npm run db:seed
prod.db
PRAGMA integrity_check
ContentItem
next dev
console.log
TODO
FIXME
.only()
git fetch
172.20.0.99 → 172.20.0.3
tar -tzf
unexpected end of file
npm run test:unit
npm run test:coverage
config/test/jest.config.js
npm run test
npm run check:contrast
npm run check:headings
npm run lighthouse
npm run test:security:headers
/
X-Frame-Options
unsafe-eval
1bf99ea4…
README.md
CONTEXT.md
CLAUDE.md
54783f40
jenkins_jenkins_home
nginx -s reload
bash -n
--dry-run
gzip -t
docker-cleanup.sh
nginx -t
git fetch origin
type-check
lint
test:unit
commit-msg
node_modules
npx --no -- commitlint
--no-verify
skip
todo
docker ps
Exited (0)
Up 6 hours (healthy)
ALERT_WEBHOOK_URL
RCLONE_REMOTE
20261101_165600
/home/novalon/docker-app/scripts/docker-cleanup.sh
image prune -a
postgresql
alpine
.bak
/usr/local/bin/container-monitor.sh
check_nginx_upstream_drift
container-monitor.sh.bak.20261101_1650
/home/novalon/docker-app/novalon-nginx/nginx-static-production.conf
nginx-static-production.conf.bak.20261101_1635
⇒ 建议下一个动作:把这三个运维脚本纳入仓库(runbook §7.3.3),否则它们不可评审、不可回滚。
生产全站 502 约 5.5 小时、Gitea 500 约 13 小时,根因是 / 写到 100%(20G/20G)。 仓库侧落这四处;另三处守卫在服务器侧脚本(未入仓,已在 runbook §7.3 登记)。 - backup-cicd.sh:预检阈值必须与本轮实际开销绑定。原 .env 把 MIN_FREE_GB 从 3 降到 1, 于是 2GB 可用时放行了一次要写 2.6GB 的全量导出,tar 写到 2.0GB 撞盘。改为含仓库导出时 上调至 BACKUP_FULL_MIN_FREE_GB(默认 4GB),thin 仍按 1GB —— 一并抬高等于又关掉 「唯一副本、不可重建」的那份 DB 备份,是同一个错法的两个方向。 - backup-cicd.sh:归档失败即删残档。半截归档把一次备份失败升级成了全站故障, 且 set -e 让末尾的保留清理从未执行,形成「失败越多越容易满盘」的正反馈。 - backup-cicd.sh:Jenkins 容器缺失时只在预检记录并跳过第 [3/3] 步。原先的 require_container 会让整轮备份(含 Gitea DB dump)在预检阶段就中止。 - nginx-static-production.conf:upstream jenkins_app 后端置 127.0.0.1:1 down。 Jenkins 下线后 `server jenkins:8080` 让 nginx -t 报 host not found, 而修 502 正需要 reload,形成死锁。保留结构以便一行还原。 - runbook §7:复发时的四步判据(盘满时 docker ps 读数不可信)、已落地守卫表、9 项未闭环。 - lessons §5.53:诊断仪器在故障态下自身会失真这一族。§5.52 空号是他人未落库的在途段。
No dependencies set.
The note is not visible to the blocked user.
变更摘要
2026-11-01 生产事故收口:
www.novalon.cn全站 502 约 5.5 小时、git.f.novalon.cn500 约 13 小时,根因是
/dev/vda1写到 100%(20G/20G,可用 0)。本 PR 只收仓库侧的四处;另有三处守卫落在服务器侧未入仓的运维脚本里(已在 runbook §7.2/§7.3 登记,见「不在本 PR 里的部分」)。
infra/cicd/backup/backup-cicd.sh:预检阈值与本轮实际开销绑定(含仓库导出时上调至BACKUP_FULL_MIN_FREE_GB,默认 4GB;thin 仍 1GB);归档失败即删残档;Jenkins 容器缺失时只跳过第 [3/3] 步,不再让
require_container拦掉整轮备份(含 Gitea DB dump)。nginx-static-production.conf:upstream jenkins_app后端置127.0.0.1:1 down,解开nginx -t: host not found in upstream "jenkins:8080"导致无法 reload 的死锁(修 502 正需要 reload)。docs/development/deploy-runbook.md:新增 §7(复发时的四步判据、已落地守卫表、9 项未闭环)。docs/lessons-learned.md:新增 §5.53(诊断仪器在故障态下自身会失真这一族)。关联 Issue
N/A:无对应 Issue。来源为生产事故现场排查(2026-11-01),判据与读数全部在 runbook §7 与本描述内。
提交前检查
全链路检查
跨层变更(页面 ↔ 组件 ↔ CMS 内容模型 ↔ seed ↔ 测试)必须完成以下检查:
npm run type-check通过(0 error)—— N/A:本 PR 改动仅.sh/ nginx conf /.md,git show --stat可见 0 个 TS/TSX 文件npm run lint通过:0 error,且 warning 数未新增 —— N/A:同上,无 JS/TS 改动href、Link目标均已确认真实存在 —— N/A:无前端改动;线上 30 路由实测非 200 = 0(见「假绿灯纪律」)npm run db:seed—— N/A:未碰内容模型;prod.db只读PRAGMA integrity_check= ok、ContentItem38 行,未做任何 DB 写入next dev上复核 —— N/A:无 UI 改动console.log/TODO/FIXME/.only()测试分层检查(L0–L3)
git fetch)替代172.20.0.99 → 172.20.0.3触发(不是等一次自然重启);归档校验用tar -tzf实列出 4291 个条目(同日那份坏档在同一条命令上是unexpected end of file);清理脚本用容器/镜像/网络三项 before-after diff 证明未误删.only()/ 跳过态残留质量门禁
npm run test:unit—— N/A:无源码改动(见全链路第 1 条)npm run test:coverage—— N/A:同上,且未下调任何阈值(config/test/jest.config.js不在本 PR 改动集内)npm run test(Playwright E2E)—— N/A:默认 webServer 打 dev,与本次运维改动无交集npm run check:contrast与npm run check:headings—— N/A:无样式/标题改动npm run lighthouse—— N/A:非本批改动面;本轮聚焦恢复与门禁防复发npm run test:security:headers通过(若改动涉及响应头、CSP 或部署配置):本 PR 改了生产 nginx 配置,实测 reload 后/200、X-Frame-Options/CSP 各仅 1 条且无unsafe-eval回归;服务器与仓库nginx-static-production.confmd5 一致(1bf99ea4…)docs/development/deploy-runbook.md§7、docs/lessons-learned.md§5.53。README.md/CONTEXT.md/CLAUDE.md无需改动(未新增术语、命令或架构约束)54783f40,只含运维门禁 + 文档jenkins_jenkins_home卷、启动 postgresql 容器、nginx -s reload—— 均经决策人逐条批准后执行;服务器侧三处改动均留带时间戳备份假绿灯纪律
bash -n本地/远端各一次;--dry-run两模式(阈值读数分别 1GB / 4GB);真实薄备份 SCRIPT_EXIT=0;真实全量备份 EXIT=0 且
gzip -t+tar -tzf(4291 条) 独立复验;docker-cleanup.sh实跑后三项 diff 全空;漂移守卫伪造触发 →
nginx -t通过 → reload → 站点仍 200;git fetch originEXIT=0。如实记录的失败口径:本 PR 未运行
type-check/lint/test:unit(判为 N/A,非「跑了且绿」);首次提交曾被 husky
commit-msg拦下(worktree 缺node_modules,npx --no -- commitlint解析不到),未用
--no-verify绕过,改为临时链接主检出node_modules让钩子真实执行后提交,提交完撤链接skip/todo用例、下调阈值等方式让门禁变绿:阈值方向是收紧(新增按模式的上调逻辑);未删任何用例
docker ps报Exited (0)在盘满态是仪器失真,未当成真故障处理;腾出空间后以
Up 6 hours (healthy)+ 容器内部 200 交叉验证才定案,据此推翻并更正了我自己的第一版因果判断ALERT_WEBHOOK_URL三处为空(告警函数存在但被空值变为 no-op)、RCLONE_REMOTE为空(备份仍同盘、不抗主机故障)—— 需决策人提供 webhook 与对象存储凭据,代理侧不编造而今天那份随后被
gzip -t证伪为坏档,一度导致盘上无任何可用裸库归档;本批已补跑一次真实全量并独立校验(
20261101_165600,2.1GB / 4291 条目)不在本 PR 里的部分(服务器侧未入仓脚本,已实跑验证)
/home/novalon/docker-app/scripts/docker-cleanup.shimage prune -a(它是删掉postgresql容器与alpine镜像的元凶).bak——此处如实记为流程瑕疵)/usr/local/bin/container-monitor.shcheck_nginx_upstream_drift:容器 IP 变化时先nginx -t再 reloadcontainer-monitor.sh.bak.20261101_1650/home/novalon/docker-app/novalon-nginx/nginx-static-production.confnginx-static-production.conf.bak.20261101_1635⇒ 建议下一个动作:把这三个运维脚本纳入仓库(runbook §7.3.3),否则它们不可评审、不可回滚。
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.