> ## Documentation Index
> Fetch the complete documentation index at: https://help.decodo.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 简介

> Decodo /crawl 端点概览：全站爬取、站点地图处理、路径过滤、Webhook 和定价。

/crawl 从您提交的 URL 开始，沿着链接遍历整个网站，并抓取发现的每一个页面。您可以用它采集整个网站或某个栏目的内容，而无需逐页自行调用 `/scrape`。

## 主要功能

* **一次请求即可全站抓取** - 从一个 URL 开始，由 Decodo 在您设定的深度和页面数量上限内自动跟踪链接。
* **每次爬取最多 10,000 个页面** - 设置更小的 `limit` 可提前结束。
* **异步执行** - 爬取在后台运行；您可以轮询状态，也可以在完成时通过 Webhook 接收通知。爬取结束后，结果保留 24 小时。
* **站点地图 + 页面链接** - 可选择使用站点地图 URL、页面链接或两者兼用，以决定要爬取哪些页面。
* **路径过滤** - 按路径模式包含或排除 URL，只采集您需要的栏目。
* **自动 JS 重试** - 抓取失败的页面可使用 JavaScript 渲染重试一次。
* **灵活的输出格式** - 每个页面均可获取 Markdown 或 HTML 格式，既可内联返回，也可以按页面结果列表返回。

`/crawl` 与 [**/map**](/docs/cn/web-data-api-map-introduction) 搭配使用效果更佳：先用 `/map` 查看网站结构并确定所需路径，再使用带有 `select_paths` 的 `/crawl`，仅采集这些页面。

## 定价

爬虫抓取的每个页面按一次请求计费。爬取始终使用高级代理池，使用 JavaScript 渲染重试的页面单独计费。失败的页面不收费。完整费率表请参阅[**计费**](/docs/cn/web-data-api-billing)页面。

## 快速入门

1. **注册** - 在仪表盘中激活免费套餐或选择付费套餐。
2. 从[**仪表盘**](https://dashboard.decodo.com/)**复制您的 API 密钥**。
3. **发起爬取**，提供要爬取的 URL，以及所需的限制或过滤条件。
4. **轮询状态**，或设置 `callback_url`，在爬取完成时接收通知。

完整流程请参阅[**快速入门**](/docs/cn/web-data-api-crawl-quick-start)指南；所有输入选项请参阅[**参数**](/docs/cn/web-data-api-crawl-parameters)；跟踪和停止爬取请参阅[**状态、结果与取消**](/docs/cn/web-data-api-crawl-status-results-cancellation)。

## 代码示例

<CodeGroup>
  ```shellscript cURL theme={null}
  # 将 TOKEN VALUE 替换为您的 API 密钥
  curl --request 'POST' \
        --url 'https://data.decodo.com/v1/crawl' \
        --header 'Accept: application/json' \
        --header 'Authorization: Bearer TOKEN VALUE' \
        --header 'Content-Type: application/json' \
        --data '
      {
      "url": "https://decodo.com",
      "limit": 2,
      "max_depth": 1,
      "sitemap": "skip"
      }
  '
  ```
</CodeGroup>

<Note>
  ## 使用政策

  `/crawl` 用于采集可公开访问的网页数据。

  我们不支持爬取以下内容：

  * 需要登录或身份验证后才能访问的内容
  * 用户私人信息
  * 受限或非公开数据

  用户有责任确保其对本服务的使用符合相关网站条款和内部政策。
</Note>

***

<Columns cols={2}>
  <Card title="支持" href="https://direct.lc.chat/12092754" cta="让我们聊聊！">
    需要帮助或只是想打个招呼？我们的支持团队全天候为您服务。 \
    您也可以随时通过电子邮件 [support@decodo.com](mailto:support@decodo.com) 联系我们。
  </Card>

  <Card title="反馈" href="mailto:feedback@decodo.com" cta="分享反馈">
    找不到您要找的内容？请求一篇文章！ \
    有反馈意见？分享您对我们如何改进的想法。
  </Card>
</Columns>


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.