Skip to main content
/map 会返回一个 URL 列表,来源可以是网站的顶层站点地图(sitemap)、您提交的页面上的链接,或两者兼有——无需抓取每个页面的内容。它不会继续跟踪链接,也不会打开嵌套的站点地图。您可以在抓取之前先用它了解网站上有哪些内容,或精确挑选所需的页面。

主要功能

  • 一次请求,一份列表——每次调用最多可获取 14.7 万个 URL。
  • 同步——结果在同一响应中返回,无需轮询。
  • 站点地图 + 页面链接——来自站点地图和所提交页面的 URL 会合并为一个列表,并自动去重。
  • 路径过滤——使用正则表达式模式包含或排除 URL。
  • 域名范围——仅保留主域名、加入子域名,或包含外部链接。
  • 内置反爬虫处理和地理定位——即使网站会拦截简单的爬虫,也能完成映射,并以特定国家/地区的视角呈现网站。
/map 与 /crawl 搭配使用效果更佳:先用 /map 查看网站结构并确定所需路径,再结合 select_paths 运行 /crawl,只收集这些页面。

定价

每次 /map 调用会发起一次请求来获取您提交的页面;如果包含站点地图,还会额外发起一次请求来获取站点地图。每次请求按每 1000 次请求计费,费率取决于您的套餐规模。完整费率表请参阅计费页面。

快速入门

  1. 注册——在仪表盘中激活免费套餐或选择付费套餐。
  2. 从仪表盘复制您的 API 密钥。
  3. 使用您要映射的 URL 发送请求。
完整操作步骤请参阅快速入门指南;站点地图、路径过滤和域名范围选项请参阅参数。

代码示例

使用政策

/map 旨在发现网站上可公开访问的页面。我们不支持映射以下内容:
  • 需登录或身份验证后才能访问的内容
  • 用户私人信息
  • 受限或非公开数据
用户有责任确保其对本服务的使用符合相关网站条款和内部政策。

支持

需要帮助或只是想打个招呼?我们的支持团队全天候为您服务。
您也可以随时通过电子邮件 support@decodo.com 联系我们。

反馈

找不到您要找的内容?请求一篇文章!
有反馈意见?分享您对我们如何改进的想法。