页面迟迟不收录、新文章发了搜不到，很多时候不是内容不行，而是爬虫"找不到路"。sitemap 是你递给搜索引擎的页面清单，robots.txt 是你挂在大门口的参观须知——一个告诉它"我有哪些页面值得看"，一个告诉它"哪些地方别进"。两个文件配好，收录效率立竿见影。
sitemap 的格式与生成方法
主流格式是 XML sitemap，逐条列出希望被收录的 URL、最后更新时间与优先级。一份最小的样子：
```xml <?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://example.com/news/tdk-guide/</loc> <lastmod>2026-01-10</lastmod> </url> </urlset> ```
三条生成途径，按站点规模选：
- 建站系统自带：WordPress 等主流 CMS 与多数建站后台都有开关，开启后自动生成并随内容更新
- 在线工具或插件生成：输入网址，自动抓取站内链接生成文件
- 手动整理：几十个页面的小站点，手写也够用
两个填写细节：sitemap 里的 URL 必须能正常打开（返回 200），已删除或已跳转的地址不要放进去；lastmod 写真实更新时间，全站统一填同一天，搜索引擎会降低对这个字段的信任。单文件体量也要留意：单个 sitemap 通常建议控制在 5 万条 URL 以内，超出就拆分成多个文件再建索引。生成后放在网站根目录，例如 `https://example.com/sitemap.xml`，并保证浏览器能直接打开。
百度与谷歌分别怎么提交
- 百度：登录百度搜索资源平台并验证站点，在"普通收录"中提交 sitemap 地址，平台会周期性抓取；重要新页面再配合 API 推送，收录更快。四步走完：验证站点 → 进入普通收录 → 粘贴 sitemap 地址 → 保存等待抓取
- 谷歌：在 Google Search Console 的"站点地图"里提交；同时可在 robots.txt 末尾加一行 `Sitemap: https://example.com/sitemap.xml`
两边都要交。国内客户搜索用百度，海外客户与部分 B2B 决策者用谷歌，只做一边等于主动放弃一半入口。提交一次即可，之后靠系统自动更新维护，频繁重复提交并不会加快收录。
另外要建立正确预期：sitemap 只负责把页面"报备"给搜索引擎，解决的是被发现的问题；页面最终收不收录，仍取决于内容质量与站点权重。把它当加速器，而不是免检通行证。
robots.txt 该屏蔽什么
先说结论：robots.txt 通常只要十几行，但每一行都要想清楚。建议屏蔽：
- 后台与管理目录（如 `/admin`、`/login`）
- 带排序、筛选参数的页面，避免海量重复 URL 被收录
- 无搜索价值的功能页：登录页、测试页、个人中心
屏蔽的目的不是藏内容，而是把有限的抓取预算集中在有排名价值的页面上。还要知道 robots 只是抓取建议，不是访问控制——真正的敏感数据要靠登录和权限保护，不能只靠 robots 挡。拿不准某条规则时，先用平台的 robots 检测工具测一遍再上线，比上线后排查省事得多。
最贵的事故：robots 误封全站
一行 `Disallow: /` 就能让全站从搜索结果里消失。不少建站模板在开发阶段默认屏蔽全站，上线时忘了改，结果"网站上线半年零收录"，排查到最后往往是这一行。类似的翻车还有：想屏蔽某个目录却写成 `Disallow: /*`，把全站路径一并拦掉。上线前必须逐行检查，每一行都问一句"这行是故意写的吗"；反过来也别把 CSS、JS 目录封死——搜索引擎需要这些文件正常渲染页面，封了会影响收录与评分。robots 改动后平台抓取有延迟，改完当天先本地确认内容无误，再等平台刷新生效。
动态内容站与商城站的 sitemap 策略
- 资讯/动态内容站：页面持续新增，sitemap 保持与内容同步更新，新文章配合主动推送缩短收录等待；列表页、标签页控制在合理数量，避免产生大量空洞聚合页；过期低质内容页及时下线
- 商城站：页面量大，按产品、分类、文章拆成多个 sitemap 再建索引文件；商品下架后及时从 sitemap 移除，并做好 301 或返回 404；筛选参数页用 robots 屏蔽，与 sitemap 策略互相呼应
共同原则：sitemap 只放"值得排名"的页面，凑数塞进低质页面，反而拉低搜索引擎对整站的质量判断。
配置完成后，花 5 分钟验证
配置完成不代表结束，验证合格才算交付：
- □ 浏览器直接打开 `/sitemap.xml` 与 `/robots.txt`，确认可访问、内容正确
- □ 在站长平台查看 sitemap 状态，"已发现 URL 数"与站内实际页面量级是否一致
- □ 用平台的 robots 检测工具抽查关键页面，确认没有被误封
- □ 在百度和谷歌搜索 `site:你的域名`，抽查近期新页面是否已进入索引
- □ 新发一篇内容，观察 24-48 小时内是否被收录，验证推送链路是否通畅
sitemap 和 robots.txt 是收录的地基，配错一行的代价可能是几个月的流量。 今天就检查这两个文件：把误封的目录放开，把该提交的地图交上去，让爬虫第一次上门就能走对路。