Skip to main content
网页数据 API 将所有网页数据采集方式集中在一处:抓取单个页面、搜索网络、爬取网站最多 10,000 个页面,或映射网站的 URL。所有端点都运行在同一套基础设施上,因此无论您使用哪个端点,代理轮换、JavaScript 渲染和反机器人防护都会自动为您处理。 一个 API 密钥即可用于所有端点,且所有端点共用同一个基础 URL:https://data.decodo.com/v1

端点

端点功能返回内容模式
/scrape获取单个页面的内容,或从 Google、Amazon 等受支持网站获取解析后的数据。HTML、Markdown、JSON、截图等同步、异步或批量
/search在一秒内获取某个查询的 Google 搜索结果。解析后的自然搜索结果和热门新闻同步
/crawl从您提交的 URL 开始,抓取网站最多 10,000 个页面。每个页面的 Markdown 或 HTML异步
/map列出您提交的页面中以及网站顶级站点地图中的 URL(最多 147K 个),不抓取页面内容。URL 列表同步

我应该使用哪个端点?

您想要……使用
获取已知 URL 的页面内容/scrape
从 Google、Amazon、Walmart、TikTok 或其他受支持网站获取结构化数据/scrape 搭配目标模板
一次抓取大量 URL,或稍后再获取结果/scrape 搭配异步或批量请求
快速获取某个查询的 Google 搜索结果/search
采集某个网站或其某一板块的页面内容(最多 10,000 个页面)/crawl
在抓取之前了解网站有哪些页面/map
/map 和 /crawl 搭配使用效果很好:先用 /map 查看网站结构并确定所需路径,再使用 select_paths 运行 /crawl,只采集这些页面。

身份验证

所有端点都使用同一个 API 密钥。请从仪表盘复制密钥,并在 Authorization 请求头中发送:
正在从网页抓取 API 或快速搜索 API 迁移?旧版令牌无法用于网页数据 API。请参阅迁移指南,了解新端点和身份验证方式。

同步和异步请求

  • 同步端点(/scrape、/search 和 /map)在同一个响应中返回结果。
  • 异步端点会立即返回一个 ID,并在后台执行任务。/crawl 始终为异步。/scrape 也可以通过 /task 异步运行,适合大批量请求或加载缓慢的页面。您可以查询状态、在结果就绪后获取结果,或提供回调 URL 以接收通知。

快速入门

  1. 注册:激活免费套餐,或在仪表盘中选择付费套餐。
  2. 从仪表盘复制您的 API 密钥。
  3. 从上表中选择一个端点。
  4. 发送您的第一个请求,例如抓取单个页面:
您也可以直接在仪表盘中构建并发送请求,然后复制可直接使用的 cURL、Python 或 Node.js 代码进行集成。

定价

所有端点均按每 1K 次请求计价,套餐越大,单价越低。根据端点不同,价格还取决于代理池以及是否进行 JavaScript 渲染:
端点代理池JavaScript 渲染
/scrape标准(Standard)或高级(Premium)可选
/search统一价格-
/crawl高级(Premium)可选,仅用于不渲染就会失败的页面
/map高级(Premium)可选
/scrape 上的 Perplexity、ChatGPT、Gemini 和 Google AI Mode 模板在所有套餐中均为统一价格:每 1K 次请求 $1。 您只需为成功的请求付费。请在计费页面查看所有价格。 您可以在仪表盘的统计(Statistics)板块中监控每个端点的用量,包括成功率以及按域名和时间划分的流量明细。

使用政策

网页数据 API 仅用于采集可公开访问的网页数据。我们不支持采集:
  • 需登录或经身份验证后才能访问的内容
  • 用户私人信息
  • 受限或非公开数据
用户有责任确保其对本服务的使用符合相关网站条款及内部政策。


支持

需要帮助或只是想打个招呼?我们的支持团队全天候为您服务。
您也可以随时通过电子邮件 support@decodo.com 联系我们。

反馈

找不到您要找的内容?请求一篇文章!
有反馈意见?分享您对我们如何改进的想法。