← 返回首頁
Cloudflare Developers
Cloudflare Developers
@CloudflareDev
18,436🔁 1,543
𝕏 (Twitter)🔥
AI 中文摘要Claude 生成
Cloudflare Browser Rendering 推出新的「/crawl」endpoint,讓使用者只需一次 API 呼叫就能爬取整個網站。使用者只需提交起始 URL,系統會自動發現頁面、在無頭瀏覽器中渲染,並以 HTML、Markdown 或結構化 JSON 等多種格式返回內容。爬取工作以非同步方式執行,使用者會收到 job ID 並可定期檢查進度。 這項功能特別適合用於訓練模型、構建 RAG pipeline,以及進行內容研究和監控。主要特性包括多種輸出格式、可配置的爬取深度和頁面限制、自動頁面發現、增量爬取功能(支援 modifiedSince 和 maxAge 參數以跳過未變更的頁面)、以及靜態模式(透過設定 render: false 來加快靜態網站爬取速度)。系統會遵守 robots.txt 指令,包括爬取延遲設定。此功能已在開放測試階段,Free 和 Paid 計畫都可使用,無需額外的指令碼或瀏覽器管理。