Google爬虫抓不到网站内容，如何排查

确认服务器响应码

用浏览器或者curl -I命令请求网站首页，看看返回的状态码。如果是200，说明服务器正常；如果是5xx（服务器错误）或3xx（但最终没到200），说明爬虫可能拿不到内容。检查服务器日志，确认Googlebot IP（可通过SPF或PTR反查）是否被误封。另外，确认网站是否能通过HTTPS访问，且未强制重定向到HTTP或不同域名。

检查robots.txt文件

访问网站域名/robots.txt，确认没有Disallow: /或者针对Googlebot的屏蔽指令。注意：robots.txt只能阻止爬虫抓取，但不能阻止收录（如果有其他网页引用）。在Search Console的“robots.txt测试”工具中输入URL，验证是否被允许抓取。如果发现屏蔽，移除相关Disallow行即可。

检查meta robots与X-Robots-Tag

查看页面HTML头部是否有<meta name="robots" content="noindex">或nofollow，或者HTTP响应头中是否有X-Robots-Tag: noindex。这些标签会直接告诉搜索引擎不要收录该页面。使用浏览器开发者工具的“网络”标签查看响应头，或直接查看页面源码。如果有误设，需要修改模板或后端配置。

排查JavaScript渲染阻塞

Google爬虫虽然能执行部分JavaScript，但如果是客户端渲染且依赖外部API或延迟加载，可能导致内容不可见。使用Search Console的“网址检查”中的“抓取并呈现”功能，查看Google抓取到的HTML是否包含关键内容。如果缺少内容，考虑服务端渲染（SSR）或动态渲染。同时检查是否需要加载的资源（如CSS、JS）是否被robots.txt禁止抓取。

检查网站内容质量与唯一性

如果内容是低质量、重复或大量自动生成，Google可能选择不抓取或不收录。查看是否有大量404页面或无内容页面。使用Search Console的“页面索引”报告，检查“已抓取但未索引”的原因，通常是“无内容”或“重复内容”。解决方法是提升内容原创性、增加有价值的信息，并合并或删除低质量页面。

用Search Console验证抓取

在Search Console中提交网站地图，使用“网址检查”工具输入单个页面URL，查看Google是否能获取内容。如果显示“抓取失败”，展开详细信息看错误代码。常见的错误有：DNS解析失败、服务器超时、重定向错误、被拒绝访问等。根据错误类型联系主机服务商或调整服务器设置。

以下表格总结了常见排查项、核验入口和异常信号：