AI 爬虫能不能读到你的网站：robots.txt 与渲染自查
AI 读不到的页面，后面所有优化都白做。分清训练爬虫、搜索爬虫和用户实时抓取三类访问，检查 robots.txt、防火墙和前端渲染，是 GEO 的第一道关。
做 GEO 最容易被忽略、也最致命的问题是：AI 根本读不到你的页面。 内容写得再好，robots.txt 一行配置、防火墙一条规则、前端渲染一个白屏，就能让你在 AI 的回答里彻底消失。
三类 AI 访问，别混为一谈
各家 AI 公司通常会用不同的 User-Agent 区分用途。以海外常见的为例：
| 类型 | 用途 | 常见 User-Agent 举例 |
|---|---|---|
| 训练爬虫 | 抓取网页用于训练模型 | GPTBot、ClaudeBot、Google-Extended、CCBot |
| 搜索 / 索引爬虫 | 为 AI 搜索建立索引，决定你能否被检索到 | OAI-SearchBot、Claude-SearchBot、PerplexityBot |
| 用户实时抓取 | 用户在对话里提问时，AI 当场打开你的页面 | ChatGPT-User、Claude-User、Perplexity-User |
这三类的取舍是可以分开的。比如你不希望内容被拿去训练，可以只屏蔽训练爬虫，但一定要放行搜索爬虫和实时抓取——后两者才决定你能不能出现在 AI 的回答里、被附上链接。
国内的豆包、元宝、DeepSeek、Kimi 等产品，联网时大量依赖自家或合作的搜索引擎索引（例如头条搜索、搜狗、微信搜一搜、百度、必应等，具体以各产品当前公开说明和你的实测为准）。所以国内 GEO 的技术底线，很大程度上就是先让主流搜索引擎正常收录你。
User-Agent 名称会更新，配置前请到各家官方文档核对最新名称。
以下为会员内容
本文为 GEO 搜索优化 会员内容。会员正在筹备，预约后开放时优先通知你；开放后可阅读全部教程、问答和模板。