跳到主要内容

工具 07 · P1

Sitemap 校验器

解析、校验并抽查任意 sitemap 里的 URL——看清哪些条目格式有误、哪些是死链、哪些只是没被抽到。

填 sitemap 的完整地址,或者只填首页(例如 example.com)—— 后者会先读 robots.txt 里的 Sitemap 声明,再按 /sitemap.xml 这类常见路径自动查找。 解析后经 http://localhost:8080 抽查其中一部分 URL 找死链。

怎么用

  1. 01

    指向你的 sitemap

    填入完整 URL,通常是 /sitemap.xml。如果它是 sitemap index,校验器会往下跟一层子 sitemap,读取其中的 URL。

  2. 02

    看汇总栏

    这一排标签会显示 sitemap 列出了多少 URL、抽检了多少、多少是死链,以及抓取和检查各花了多久。死链与格式问题的计数是分开的。

  3. 03

    逐行处理 URL 表格

    未通过实测的行会高亮。没被抽到的条目会单独标出——这不是失败,只是超出了抽检范围。用切换按钮换视图。

抓取与抽检经由 Go 服务完成,以便读取跨域响应和响应头。只检查限定数量的 URL,保证大型 sitemap 也够快。

常见问题

▸ 校验器到底检查什么?

它抓取 sitemap、解析 XML、校验结构和每个条目的字段,然后请求其中一部分 URL,看是否能正常打开。遇到 sitemap index 时会跟随每个子 sitemap,并分别报告各自的 URL 数量。

▸ 为什么有些 URL 会被标为未抽检?

大型 sitemap 逐条检查意味着成千上万次请求,所以只抽检一部分。被标出的条目表示已正确解析、但没进入抽检范围——绝不会被当作死链。

▸ 什么算死链?

任何返回 4xx 或 5xx 状态,或完全无响应的抽检 URL。3xx 重定向不算死链,但值得留意:sitemap 应该列最终 URL,而不是会跳转的 URL。

▸ 一个 sitemap 该包含多少 URL?

单个 sitemap 文件最多可列 50,000 个 URL,未压缩时最大 50 MB。更大的站点应改用 sitemap index 指向多个子 sitemap。这两个上限都是 sitemap 协议的一部分。

▸ 为什么工具会提示存在多个主机?

sitemap 只能列它所在主机的 URL。如果条目指向别的域名——比如 example.com 和 www.example.com 混在一起——爬虫可能直接忽略,这通常意味着规范化出了问题。