站长工具里"已抓取/已发现,尚未编入索引":改内容还是加 noindex
"已抓取-尚未编入索引"和"已发现-尚未编入索引",通常意味着搜索引擎觉得这个页面不值得收录。处理只有两条路:值得排名的页面就把内容做实,本来就不需要排名的页面直接加 noindex。分页列表要统一第一页网址,所有分页的规范标签都指向不带页码的第一页;站内链接要和规范网址的写法一致,比如带不带结尾斜杠,不然会制造一堆跳转提醒。这类页面数量突然变多,是内容生产策略出问题的信号。
这两个状态的意思基本一样:搜索引擎知道这个页面,但觉得它不值得收录。
站长工具的索引报告里,最让人头疼的就是这两行:
- 已抓取,尚未编入索引:爬虫来过了,看完没收;
- 已发现,尚未编入索引:知道有这个网址,还没排上队去抓。
两者背后的判断通常是同一个:这个页面没什么值得收录的内容。
先给页面分类,再处理
不是所有页面都需要被收录。先把这些网址分成两类:
| 页面类型 | 例子 | 处理 |
|---|---|---|
| 要靠它拿排名的页面 | 工具页、教程页、产品页 | 把内容做实:补充用途、步骤、示例、常见问题 |
| 本来就不需要排名的页面 | 筛选结果、搜索结果页、空标签页、登录页 | 直接加 noindex |
第二类页面加了 noindex,不仅省掉了无效抓取,也不会拉低整站在搜索引擎眼里的平均质量。
分页列表:统一第一页的网址
列表页(标签页、分类页)一般会有很多分页,除了列出的条目不同,标题和描述都一样,很容易出现"搜索引擎选的规范网页和你指定的不一样"。
处理办法:
- 确定第一页的网址用不带页码的版本,比如
/tags/xxx/,而不是/tags/xxx/1/; - 站内所有指向第一页的链接,都写不带页码的版本;
- 所有分页的规范标签都指向第一页不带页码的网址。
这类分页本身就是"索引页",用途是把爬虫带到真正用来排名的内页,它自己不需要排名。
站内链接要和规范网址写法一致
一个很常见又很隐蔽的问题:规范网址是带结尾斜杠的,站内链接却写成不带斜杠的。
爬虫顺着你的链接抓到不带斜杠的网址,发现被跳转到另一个网址,于是站长工具里冒出一堆"网页会自动重定向"的提醒。
解决办法很简单:规范网址怎么写,站内链接就怎么写,带不带斜杠、带不带 www、是 http 还是 https,全站统一。
这个数字变多,是内容策略的警报
如果某段时间"已抓取但未收录"的页面数量明显增加,别只想着一个个提交,先想想最近的内容生产方式是不是出了问题:是不是批量生成了大量相似、单薄的页面?
搜索引擎对一个网站的态度是分层递进的:先是抓取,再是收录,然后才是给排名、给曝光。卡在"收录"这一层,说明内容还没过门槛。
小结
要排名的页面把内容做实,不需要排名的页面加 noindex;分页统一第一页网址,站内链接和规范网址写法一致。上线前的完整检查清单,见「技术 SEO 自查:让搜索引擎发现、抓取、收录你的每个页面」。
讨论
加载中…