简介

​

主要功能

• 一次请求即可全站抓取 - 从一个 URL 开始，由 Decodo 在您设定的深度和页面数量上限内自动跟踪链接。
• 每次爬取最多 10,000 个页面 - 设置更小的 limit 可提前结束。
• 异步执行 - 爬取在后台运行；您可以轮询状态，也可以在完成时通过 Webhook 接收通知。爬取结束后，结果保留 24 小时。
• 站点地图 + 页面链接 - 可选择使用站点地图 URL、页面链接或两者兼用，以决定要爬取哪些页面。
• 路径过滤 - 按路径模式包含或排除 URL，只采集您需要的栏目。
• 自动 JS 重试 - 抓取失败的页面可使用 JavaScript 渲染重试一次。
• 灵活的输出格式 - 每个页面均可获取 Markdown 或 HTML 格式，既可内联返回，也可以按页面结果列表返回。

​

定价

​

快速入门

1. 注册 - 在仪表盘中激活免费套餐或选择付费套餐。
2. 从仪表盘复制您的 API 密钥。
3. 发起爬取，提供要爬取的 URL，以及所需的限制或过滤条件。
4. 轮询状态，或设置 callback_url，在爬取完成时接收通知。

​

代码示例

# 将 TOKEN VALUE 替换为您的 API 密钥
curl --request 'POST' \
      --url 'https://data.decodo.com/v1/crawl' \
      --header 'Accept: application/json' \
      --header 'Authorization: Bearer TOKEN VALUE' \
      --header 'Content-Type: application/json' \
      --data '
    {
    "url": "https://decodo.com",
    "limit": 2,
    "max_depth": 1,
    "sitemap": "skip"
    }
'