📍 WDQWDWQD987AAAAA:216.73.216.213
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f46eeab88655.html
📄

百度网站收录：入口页面正常但深层链路失效时怎样定位断点

入口页面正常、深层页面不收录，最常见的断点不在“页面本身写得好不好”，而在从入口到深层的那条可抓取路径上。定位方法不是继续提交入口页，而是把链路拆成“可发现—可抓取—可解析—可索引”四段，逐段找第一个不再成立的环节。

先分清两种解释：链路根本没被发现，还是被发现后抓取失败

入口页正常，只说明百度对入口这一层有抓取和索引行为。深层链路失效通常对应两类原因：

• 可发现性中断：深层页只靠入口页上的链接到达，而入口页改版、脚本渲染、分页参数或导航折叠后，链接在原始 HTML 中消失，爬虫没有稳定路径继续走。
• 可抓取性中断：链接仍然存在，但深层 URL 被规则拦截、返回异常状态、超时，或需要登录、验证、特定 Cookie 才能返回有效内容。

这两类的处理方向完全相反。前者要恢复链接发现，后者要排查拦截与响应。

用能区分解释的证据，而不是凭感觉猜

把入口页和一条已知深层页放在一起对比，收集下面几组证据：

1. 抓取工具的访问日志中，深层 URL 是否出现过请求记录。完全没有请求，更偏向可发现性问题；有请求但状态异常，更偏向可抓取性问题。
2. 用抓取诊断类工具请求深层 URL，观察返回状态码、响应时间和最终落地 URL。若返回 4xx、5xx 或跳转到无关页面，断点在此。
3. 查看深层 URL 是否被 robots.txt 规则命中。注意：robots.txt 限制抓取，不等于可靠的索引移除，被限制的 URL 仍可能因外部链接被索引；反过来，解除限制也不保证立刻恢复收录。
4. 检查入口页原始 HTML 中是否真的存在指向深层的 <a href>。若链接只由脚本在用户交互后插入，要确认爬虫执行脚本时能否得到同样的 DOM。

假设一个场景：某旧栏目入口页返回 200，站内搜索能搜到深层文章，但抓取日志里深层 URL 一周内零请求。此时更可能是入口页链接在原始 HTML 中缺失，而非深层被拦截。下一步应先修入口页的静态链接，再观察日志中是否出现请求，而不是急着提交站点地图。

从入口到深层逐跳验证，找到第一个失效跳点

如果链路是多层级的（入口 → 列表 → 详情），不要只看首尾。逐跳记录每一层的返回状态和链接存在情况，第一个出现“上一层正常、这一层无请求或无有效链接”的位置就是断点。常见跳点包括：

• 列表页分页参数被改写成脚本点击，原始 HTML 中没有下一页链接。
• 中间层返回 302 跳转到入口页，形成回环。
• 详情页依赖必须登录或特定来源头才返回正文。

找到断点后，先做最小修复并复测同一跳点，确认请求与状态恢复正常，再评估是否需要重新提交入口页或站点地图。站点地图只帮助发现，不保证收录。

旧内容退出场景：保留什么、切断什么

当深层链路失效源于旧内容、旧系统或旧合作关系退出时，取舍比修复更重要：

• 仍有搜索价值的页面，保留并恢复一条从有效入口可达的静态链接路径。
• 确认要退出的页面，用合适的 404 或 410 表达移除意图，而不是仅靠 robots.txt 屏蔽；抓取限制不等于索引移除。
• 旧系统整体下线前，先确认新入口能承接原链接，避免出现入口正常、深层全断的中间状态。

判断“保留还是退出”的依据，可以看该深层页是否还有来自站内有效入口的链接、是否仍能返回完整正文。两项都为否，优先按退出处理并切断链路；只要有一项成立，就值得先恢复路径再观察抓取日志的变化。每次只改一个变量，用日志中是否出现请求、请求返回什么状态来验证，避免同时改链接、改规则、改模板后无法归因。