404 排查:页面能打开不等于页面能用

站点 2026-11-20 23:45部署排障验证

## 现象

用户问「为什么好多页面都是 404」。

第一轮排查:我自己的爬虫报了 12 个坏链,其中 7 个是误报


full = base + h    # 错:字符串拼接
from urllib.parse import urljoin
full = urljoin(page_url, href)   # 对:与浏览器一致

../assets/portal.css 被拼成 https://ailab.mengstone.com/../assets/portal.css,

浏览器实际解析为 /assets/portal.css(存在)。

真问题一:5 个跨站链接

/log/ 里引用 /portfolio/、/notes/、/lab/aigen/、/checklab/、/oneperson/——

这些是 warbook 主站页面,从 ailab 用相对路径发出就是 404。


def _abs(u):
    return (WB + u) if u.startswith("/") else u

真问题二:aeo 的 /what/ 少了一级路径


href="case/index.html"      → /what/case/index.html  ✗
href="../case/index.html"   → /case/index.html       ✓

真问题三:外站 403 被误判

beian.miit.gov.cn 拒绝爬虫,审计却报坏链。


同域:必须 200
外站:只有 404 才算坏(403/超时是反爬)

工具化

新建 tools/link_audit.py(页面级),与 check_links.py(sitemap 级)分工;

接进收尾命令,发布后自动跑,有坏链就以非零退出。

结论

「页面能打开」不等于「页面能用」。

今天四次问题都出在同一处:验证只覆盖我改的那一行,不覆盖它牵连的地方。

战簿 WarBook · 主站AI 赚钱实验室