百度蜘蛛抓取异常时，怎样安排最小修复试验：先做哪几步
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d429f4848a30.html
📄
百度蜘蛛抓取异常时，怎样安排最小修复试验：先做哪几步
最小修复试验的核心是：每次只改一个可能影响百度蜘蛛抓取的因素，改完立即用可观察的日志或抓取记录验证，确认有效再改下一个。不要同时改 robots.txt、服务器配置和页面结构，否则无法判断哪项起了作用。下面是一份按优先级排列的清单，适合时间和人手有限时直接照做。
第一步：先确认百度蜘蛛是否真的来过
要查的是服务器访问日志中百度蜘蛛的请求记录，而不是后台统计里的“抓取频次”展示值。在日志里筛选 User-Agent 包含 Baiduspider 的行，统计最近 7 天的请求条数、状态码分布和访问最多的路径。
- 如果完全没有记录：可能是 DNS、防火墙或 CDN 拦截，也可能是站点长期无更新导致抓取减少，需要先排除拦截。
- 如果有记录但大量返回 403、404、500：问题在服务器或页面本身，不是蜘蛛不来。
- 如果只有首页被抓、内页几乎为零：问题多在内链或站点结构。
这一步的结果决定后面查什么，不要跳过。
第二步：检查 robots.txt 是否误挡了关键路径
要查的是 robots.txt 里有没有 Disallow 规则挡住了正文页、栏目页或整站。直接在浏览器打开 你的域名/robots.txt，逐条读规则，重点看 Disallow: / 这类全站禁止，以及是否误写了带通配符的路径。
判断结果：如果发现关键目录被挡，删掉对应规则是成本最低的一次修复。改完后不要期待立刻恢复抓取，先记录改动时间，再观察后续日志中该路径是否出现百度蜘蛛请求。
需要分清一点：robots.txt 只能限制抓取，不能可靠地移除已经被索引的页面。想移除索引要用其他方式，这是两件事。
第三步：用一次小范围提交做对照试验
如果 robots.txt 没问题，但内页长期不被抓，可以做一次范围很小的试验：只挑 3 到 5 个内容质量正常、此前从未被抓的页面，通过百度搜索资源平台提供的提交入口提交，同时记录提交时间。
要查的是提交后这些 URL 在日志中是否出现百度蜘蛛请求。结果说明：
- 提交后几天内出现抓取：说明抓取通道正常，问题可能出在页面发现机制或内链。
- 提交后仍无任何请求：优先排查服务器对百度蜘蛛的响应，包括是否返回异常状态码、是否被 CDN 规则拦截。
样本要小，是因为目的是判断“通道是否通”，不是批量提交。样本越小，越容易定位。
第四步：核对站点地图与内链是否真的可达
要查的是站点地图里的 URL 是否全部返回 200，以及这些页面能否从首页通过不超过三到四次点击到达。逐项检查：
- 打开站点地图文件，抽查其中 5 个 URL，确认可直接访问、不是重定向链或 404。
- 从首页出发，手动点击进入这些页面，确认内链存在且不是 JavaScript 动态生成后不可见。
- 检查是否有大量页面只存在于站点地图、却没有任何内链指向。
站点地图只是提示，不保证收录。它的作用是帮助发现，不能替代可抓取的内链结构。如果页面只能靠站点地图被发现，抓取效率通常偏低。
第五步：把改动和结果记成一张对照表
最小修复试验能否成立，取决于你是否能说清“改了什么、之后发生了什么”。建议每改一项就记录四列：改动时间、改动内容、观察窗口、日志中的变化。观察窗口至少覆盖改动后的数个抓取周期，不要当天改当天就下结论。
如果一项改动在合理观察期内没有任何日志变化，就回退它，换下一项。这样即使人手有限，也能保证每一步都留下可判断的依据，而不是堆积一堆无法归因的修改。
下一步：先导出最近 7 天的服务器日志，按上面的第一步筛出百度蜘蛛记录，再决定从 robots.txt、服务器响应还是内链开始修。
