# 策展 · X (Twitter) 🔥

> 作者：Cloudflare Developers (@CloudflareDev) · 平台：X (Twitter) · 日期：2026-03-11

> 原始來源：https://x.com/CloudflareDev/status/2031488099725754821

## 中文摘要

Cloudflare Browser Rendering 推出新的「/crawl」endpoint，讓使用者只需一次 API 呼叫就能爬取整個網站。使用者只需提交起始 URL，系統會自動發現頁面、在無頭瀏覽器中渲染，並以 HTML、Markdown 或結構化 JSON 等多種格式返回內容。爬取工作以非同步方式執行，使用者會收到 job ID 並可定期檢查進度。

**適用場景廣泛：** 這項功能特別適合用於訓練模型、構建 RAG pipeline，以及進行內容研究和監控。主要特性包括：

- 多種輸出格式
- 可配置的爬取深度和頁面限制
- 自動頁面發現
- 增量爬取功能（支援 modifiedSince 和 maxAge 參數以跳過未變更的頁面）
- 靜態模式（透過設定 render: false 來加快靜態網站爬取速度）

**合規與存取：** 系統會遵守 robots.txt 指令，包括爬取延遲設定。此功能已在開放測試階段，Free 和 Paid 計畫都可使用，無需額外的指令碼或瀏覽器管理。

## 標籤

功能更新, 新產品, 爬蟲, Cloudflare