Skip to main content

​
POST 端点

https://data.decodo.com/v1/crawl

​
输入参数

参数类型必填说明
url字符串✅开始爬取的起始 URL。
limit整数要抓取的最大页面数。取值范围为 1 至 10000。
max_depth整数从起始 URL 出发的最大链接跳转次数。处于该深度的页面会被抓取，但不会继续跟踪其中的链接。
sitemap字符串可选值：include、only、skip。
  • include - 同时从站点地图和页面链接中收集 URL。
  • only - 仅爬取站点地图中列出的 URL。
  • skip - 忽略站点地图，仅跟踪页面链接。
站点地图索引会继续跟踪到其子站点地图。使用 only 时，只有当站点地图中列出了起始 URL 时，该 URL 本身才会被爬取。默认值为 include。
select_paths字符串或数组一个正则表达式或正则表达式列表。仅爬取路径至少匹配其中一个模式的 URL。即使起始 URL 不匹配，也会被爬取。路径匹配时不带末尾斜杠，因此要匹配路径结尾，请使用 /?$ 而不是 /$。示例：["^/blog"]
exclude_paths字符串或数组一个正则表达式或正则表达式列表。路径匹配任一模式的 URL 将被跳过。示例：["^/case-studies"]
domain_filter字符串爬虫可跟踪链接前往的域名范围。可选值：domain、subdomain、all。
  • domain - 仅限起始 URL 的主机。
  • subdomain - 该主机及其子域名。例如从 github.com 开始时，会跟踪指向 docs.github.com 的链接。
  • all - 指向任意域名的链接。
默认值为 domain。
output字符串每个页面内容的格式。可选值：markdown、html。默认值为 markdown。
max_duration整数最长爬取时间（秒）。达到该时间后，爬取将停止并返回状态 truncated，已采集的页面仍可获取。
follow_redirects布尔值设为 true 时跟随重定向；设为 false 时，发生重定向的页面将失败。默认值为 true。
JS_retry布尔值设为 true 时，需要 JavaScript 的页面会使用 JavaScript 渲染重试一次。重试页面的计费方式请参阅计费。
geo字符串发起页面请求所在的国家/地区。支持任意大小写的完整国家名称（Germany、germany）或大写的 2 位国家代码（DE）。小写代码或无法识别的国家会被忽略且不会报错，页面将从随机位置抓取。
locale字符串通过 Accept-Language 请求头发送给网站的语言和地区。示例：en-US、de-DE
callback_url字符串一个 http(s) URL，爬取完成时会向其发送 POST 请求。请参阅状态、结果与取消中的 Webhook 部分。
passthrough字符串您希望在 Webhook 载荷中原样返回的任意文本，例如用于确认 Webhook 确实来自 Decodo。

​
输出

发起爬取后会返回 202 Accepted，其中包含 crawl_id 以及查看状态和结果的链接。您可以使用这些链接查看状态、获取结果或取消爬取。
如果参数无效，请求将返回 400 和错误信息，例如 {"error": "limit must be between 1 and 10000"}。

支持

需要帮助或只是想打个招呼？我们的支持团队全天候为您服务。
您也可以随时通过电子邮件 support@decodo.com 联系我们。

反馈

找不到您要找的内容？请求一篇文章！
有反馈意见？分享您对我们如何改进的想法。