Introducing the new /crawl endpoint - one API call and an entire site crawled.
— Cloudflare Developers (@CloudflareDev) March 10, 2026
No scripts. No browser management. Just the content in HTML, Markdown, or JSON. pic.twitter.com/DCJMek8cZa
Initiate the crawl job with just a URL, and get a job ID back. Poll, or wait for results.
— Cloudflare Developers (@CloudflareDev) March 10, 2026
Great for training models, RAG, and researching/monitoring content.https://t.co/iYo0UXknyg
AI 中文摘要Claude 生成
Cloudflare Browser Rendering 推出新的「/crawl」endpoint,讓使用者只需一次 API 呼叫就能爬取整個網站。使用者只需提交起始 URL,系統會自動發現頁面、在無頭瀏覽器中渲染,並以 HTML、Markdown 或結構化 JSON 等多種格式返回內容。爬取工作以非同步方式執行,使用者會收到 job ID 並可定期檢查進度。
這項功能特別適合用於訓練模型、構建 RAG pipeline,以及進行內容研究和監控。主要特性包括多種輸出格式、可配置的爬取深度和頁面限制、自動頁面發現、增量爬取功能(支援 modifiedSince 和 maxAge 參數以跳過未變更的頁面)、以及靜態模式(透過設定 render: false 來加快靜態網站爬取速度)。系統會遵守 robots.txt 指令,包括爬取延遲設定。此功能已在開放測試階段,Free 和 Paid 計畫都可使用,無需額外的指令碼或瀏覽器管理。
