网页数据 API 支持在获取所需结果之前执行多种浏览器操作。
click
示例:
示例:
| 名称 | 参数 | 描述 |
|---|
scroll | x:整数 y:整数 | 将页面内容滚动指定的像素数。 |
示例:
| 名称 | 参数 | 描述 |
|---|
scroll_to_bottom | timeout_s:整数 | 在设定的秒数内持续向下滚动页面。 |
示例:
wait
| 名称 | 参数 | 描述 |
|---|
wait | wait_time_s:整数 | 暂停指定的秒数。 |
示例:
wait_for_element
| 名称 | 参数 | 描述 |
|---|
wait_for_element | 选择器:*type:“xpath”/“css”/“text” *value:字符串 timeout_s:整数 | 在指定时长内等待元素加载。 |
示例:
fetch_resource
如果与其他指令一起使用,fetch_resource 应作为最后一个操作。
| 名称 | 参数 | 描述 |
|---|
fetch_resource | filter:正则表达式 on_error:“error”/“skip” | 获取与指定模式匹配的第一个 Fetch 或 XHR 资源 |
示例:
通用参数
以下参数适用于上述所有操作。
type
timeout_s
| 名称 | 描述 |
|---|
timeout_s | 操作执行的最长等待时间(秒),超时后将终止该操作。 |
wait_time_s
| 名称 | 描述 |
|---|
wait_time_s | 明确指定用于执行该操作的时间(秒)。 |
on_error
| 名称 | 描述 |
|---|
on_error | 指定操作失败时的处理方式:“error”:停止执行浏览器操作。“skip”:继续执行下一个操作。 |
获取网络请求
如果网站通过获取 JSON 对象来填充内容,您可以只抓取该网络请求,从而完全无需处理 HTML。为此,您可以使用 fetch_resource 浏览器操作,如下所示。
fetch_resource 不能与任何其他指令组合使用,只能在单独的请求中使用。
例如,加载 yahoo.com 并打开“网络”(Network)选项卡时,可以看到正在加载一个 exp.json 文件:
如果您只想抓取此请求的内容,可以使用 fetch_resource 浏览器操作。请注意,filter 是用于匹配文件名的正则表达式:
结果:
反馈
找不到您要找的内容?请求一篇文章!
有反馈意见?分享您对我们如何改进的想法。