如何检查网站死链：功能开关导致页面变化时怎样记录版本状态
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6c1701f67bca.html
📄
如何检查网站死链：功能开关导致页面变化时怎样记录版本状态
当某个功能开关被关闭后，页面上的链接可能从可访问变为 404 或 410，也可能只是被模板隐藏而 URL 仍然有效。要判断它是否已经成为需要处理的死链，不能只看页面外观，而要把开关状态、渲染结果和 HTTP 响应分别记录下来，形成可复查的版本对照。
先区分“链接消失”和“链接失效”
功能开关影响页面时，常见的矛盾是：抓取工具报告大量 404，但人工打开页面却看不到任何断链。这通常有两种解释。
- 解释一：开关关闭后模板不再输出该链接。链接从 HTML 中消失，但目标 URL 本身仍然返回 200。此时死链检查工具不应再把它算作页面上的死链，除非站内还有其他入口指向它。
- 解释二：开关关闭同时移除了目标页面的路由或内容。链接虽然不再显示，但旧 URL 被保留在站点地图、导航缓存或外部引用中，访问时返回 404。这种情况下，页面变化和死链是同一件事的两面。
区分这两种解释的关键证据不是页面截图，而是同一时间点上的三份记录：开关配置值、页面 HTML 中是否出现该链接、直接请求目标 URL 得到的响应状态。三者不一致时，优先相信直接请求结果，因为它反映的是服务器实际行为，而不是模板渲染结果。
记录版本状态时至少固定四个字段
如果只记录“某天检查发现死链”，后续无法判断问题是由开关变更引起，还是内容迁移、路由调整或缓存造成。建议每次检查时固定记录以下字段，并注明记录时间。
- 开关标识与取值：使用配置中的键名和当前值，不要只写“已关闭”。
- 页面 URL 与渲染结果：保存该页面 HTML 中目标链接是否出现，以及出现时的 href 值。
- 目标 URL 的响应：记录状态码、最终跳转地址和响应时间。301、302、404、410 要分开写。
- 发现入口：说明这个链接是从站内导航、站点地图、外部引用还是历史日志中发现的。入口不同，处理优先级不同。
一个假设例子：某旧活动页通过开关控制报名入口。开关关闭后，页面不再显示报名按钮，但旧报名 URL 仍被一份半年前的邮件引用。此时页面本身没有死链，但外部入口会产生 404。记录时如果把“页面无链接”和“外部入口 404”混在一起，就会误判为模板问题。
用一次直接请求验证开关是否真正生效
记录完字段后，实际动作是绕过页面渲染，直接请求目标 URL，并对比开关开启和关闭两种状态下的响应。这个动作的结果会直接影响下一步：
- 如果关闭后目标 URL 仍返回 200，说明链接只是被隐藏，死链检查应转向“哪些外部或历史入口仍在引用它”。
- 如果关闭后返回 404 或 410，说明该 URL 已不可用，需要决定是恢复路由、设置重定向，还是保留 410 并清理引用。
- 如果返回 301 或 302，要记录最终地址，并确认跳转目标是否与开关预期一致，避免把跳转链误判为死链。
这一步不能只用页面抓取工具完成，因为抓取工具通常跟随页面上的链接，而开关关闭后链接可能已经不在 HTML 中。直接请求是区分“隐藏”和“失效”的最小可靠动作。
把仍然有价值的部分从退出范围中拆出来
旧内容或旧合作关系退出时，不是所有关联 URL 都应该一并移除。记录版本状态的目的之一，是识别哪些部分仍然被引用、仍然有流量或仍然承担跳转职责。可以用下面的判断顺序处理：
- 目标 URL 有外部引用且内容仍有参考价值：保留 URL，恢复可访问或设置到新内容的 301。
- 目标 URL 无外部引用且内容已无价值：允许返回 410，并从站点地图和内部导航中移除引用。
- 目标 URL 只是被开关隐藏，但路由和内容仍存在：不要把它登记为死链，改为记录开关状态和引用来源。
需要留意的是，robots.txt 的抓取限制不等于可靠的索引移除，站点地图不保证收录，HTTPS 也不保证页面安全无漏洞或排名。这些手段不能替代对目标 URL 实际响应的检查。不同搜索引擎对 404、410 和跳转的处理支持情况须分别核查，不能用一个平台的结果推断另一个平台。
让下一次检查能直接对比
版本状态记录的价值在于可对比。建议把每次检查结果按同一格式追加，而不是覆盖旧记录。至少保留开关变更前后的两组数据，并在记录中写明变更原因。这样当再次出现 404 报告时，可以先判断它是开关变更的预期结果，还是新的失效。若请求量或抓取量在开关关闭后下降，也不能单独证明处理正确，还可能来自抓取预算调整、外部引用减少或页面本身不再被推荐，需要结合入口记录和直接请求结果一起看。
最终要形成的不是一份死链清单，而是一份能说明“哪个开关、哪次变更、哪个 URL、什么响应、由谁引用”的状态记录，这样退出旧系统或旧合作关系时，才能保留仍然有价值的部分并安全移除其余部分。
