第一组:页面能否正常访问?

  • 正式网址使用 HTTPS。
  • HTTP、非 www 和重复 index.html 跳转到唯一规范网址。
  • 正式页面返回 200,失效页面返回 404,不使用伪 200。
  • 重要正文无需用户点击或执行复杂脚本即可出现在 HTML 中。
  • 手机和桌面页面没有横向溢出、遮挡或不可操作内容。

第二组:robots.txt 是否符合策略?

robots.txt 应区分传统搜索、AI 搜索引用与模型训练用途,并阻止接口、后台及其他非公开路径被抓取。具体规则应以网站目标和各平台公开文档为依据。

OpenAI 说明 OAI-SearchBot 用于 ChatGPT 搜索发现、摘要和引用,GPTBot 用于潜在训练控制。来源:OpenAI Publishers and Developers FAQ,适用范围:OpenAI 爬虫,查阅日期:2026-07-13。

Perplexity 建议允许 PerplexityBot,并提示网站防火墙可能还需要根据官方 IP 范围放行。来源:Perplexity Crawlers,适用范围:Perplexity 搜索抓取,查阅日期:2026-07-13。

第三组:Sitemap 是否只包含规范页面?

Sitemap 应只列出可以公开访问、返回 200、允许索引的 Canonical 页面。lastmod 应反映实质内容变化,不能每次构建都伪造为当天更新。

检查 Sitemap 中是否存在跳转网址、404、测试页面、接口、重复路径或未完成内容。

第四组:Canonical 和内部链接是否一致?

每个页面只声明一个绝对 Canonical。导航、面包屑、正文相关链接和 Sitemap 应尽量指向同一个规范网址,避免同时出现带 .html、不带斜杠、大小写不同等多个版本。

第五组:结构化数据是否可信?

  • 企业名称、运营主体和网址与页面可见信息一致。
  • Article 的标题、作者和日期真实展示在正文中。
  • Service 只描述页面已经公开的服务范围与限制。
  • 不添加虚假 Review、AggregateRating、案例或 FAQ。
  • 生成结果通过 Schema 和搜索平台工具检查。

Google 要求结构化数据与可见文本一致,并说明 AI 搜索不需要特殊 Schema。来源:Google Search Central,适用范围:Google 搜索,查阅日期:2026-07-13。

第六组:上线后如何确认真实抓取?

检查服务器访问日志、Google Search Console 和 Bing Webmaster,确认爬虫实际请求了正确页面,且没有被 CDN、安全组、WAF、频率限制或错误重定向拦截。

llms.txt 可以作为公开内容导航,但目前不能替代 robots、Sitemap、Canonical 或搜索索引。

完成检查后,再使用GEO 测量方法建立平台基线。