sitemap 与 robots:七个常见错与一份骨架

一、sitemap 最常见的四个错

  1. 地址写错(域名换了,sitemap 没换)。
  1. 包含已删除页面。
  1. 时间戳永远不更新。
  1. 只提交一次,后续不维护。

四个错里,第一和第三个最致命。

二、sitemap 该包含什么

只包含想被收录的页面。

登录页、搜索结果页、后台页、测试页,一律不要放。

三、robots 最常见的三个错

错一:屏蔽了 CSS 和 JS。

搜索引擎看不到样式,就无法判断移动端体验。

错二:Disallow: /。

测试环境误上了生产。这条每年都有人犯。

错三:把 sitemap 地址写在正文里。

应该写在 robots 的 Sitemap 行。

四、一个可用的 robots 骨架

```

User-agent: *

Disallow: /admin/

Disallow: /*?search=

Allow: /

Sitemap: https://example.com/sitemap.xml

```

三行就够,不需要复杂规则。

五、分页与参数怎么处理

两个原则:

  1. 分页页可以收录,但要带 canonical。
  1. 参数页(排序、筛选)一律 canonical 到主页。

不处理参数,会产生大量重复页。

六、一个检查清单

发布后做四件事:

  • 浏览器直接打开 sitemap.xml,看是否正常。
  • 抽查三个 URL,看是否 200。
  • 看 robots 是否挡住了静态资源。
  • 提交后一周看收录数量变化。

七、一个提醒

不要把 sitemap 当成万能药。

内容重复、结构混乱的站,提交再快也不会收录好。

八、扩展阅读

想理解页面头部与资源的写法,可以从基础看起。

HTML 入门教程 自带 sitemap 与结构化数据,可以直接打开对照格式。