AGENTIC COMMONSAI 產業簡報

繁中EN

主題AI 編程與開發工具出版

返回文章列表

ChatGPT 總結整個網站:Firecrawl 逐頁抓取實作

本頁內容6 個段落
  1. 為什麼貼連結行不通
  2. 在聊天視窗裡直接爬
  3. 大網站:存成檔案放進 Project
  4. 讓摘要可信的幾個 prompt 技巧
  5. 值得納入工具箱嗎
  6. 參考來源

摘要: ChatGPT 貼上一個連結,最多只能讀那一頁,JavaScript 渲染的內容還常常整段消失。Firecrawl 在 2026 年 10 月 29 日發表的做法,是讓 ChatGPT 透過官方外掛直接爬整個網站,每一頁連同 URL 回傳,每頁花 1 個 Firecrawl credit。對要重複查詢的文件站或產品站,把爬好的摘要存成檔案放進 Project,才是可以長期用的方案。

為什麼貼連結行不通

Firecrawl 的文章引用了兩個公開測試。Peec AI 在 2026 年 6 月的日誌顯示,ChatGPT Deep Research 每頁大約只讀 5,000 到 6,000 個字元;Glenn Gabe 在 2026 年 10 月的測試則發現,遇到 JavaScript 渲染的頁面,ChatGPT 和 Claude 有時只拿到導覽列和頁尾,主要內容根本沒進來。OpenAI 開發者論壇 2026 年 7 月也有人反映,ChatGPT 打不開自己用 Codex 建好的網站。

換句話說,問題不在 prompt 寫得好不好,而是模型拿到的原料本來就缺。

在聊天視窗裡直接爬

最省事的路徑:安裝 Firecrawl 官方外掛、登入帳號(免費方案每月含 1,000 credits),然後下這種指令——指定網址、頁數上限、URL 範圍,要求每頁附 URL 和三句摘要,最後再做整段總覽。外掛底層跑的是 Firecrawl 的 /crawl,所以每份摘要來自該頁完整文字,而不是 ChatGPT 自己那點閱讀視窗。

文章實測爬 Python 教學文件,17 頁花了 17 credits。summary 格式不加價,map 呼叫(先列出站內所有 URL)每次 1 credit,所以一個 100 頁的站大約 101 credits。

大網站:存成檔案放進 Project

一次性的問題,爬完在聊天裡看就夠了。但如果是會反覆查詢的站,把結果存檔比較划算。流程是先用 /map 確認頁數,再爬一次帶 markdown 加 summary 格式,請 ChatGPT 產生 summaries.txt——每頁以標題開頭,URL 另起一行,後接摘要。

OpenAI 的檔案限制是每個文字檔 200 萬 tokens,足夠放幾百個典型頁面;Project 的檔案數上限依方案從 5 到 40 個不等。用 .txt 而不是 .mdx,因為有論壇用戶反映 .mdx 附件能上傳卻讀不到。幾百頁以上的站,同樣的外掛在 Codex 裡也能用,可以直接把每頁寫進檔案、超過 150 萬 tokens 就自動分段。

實測數字值得記住:17 頁的完整 Markdown 是 98,484 tokens,逐頁摘要版只有 3,560 tokens,小了約 28 倍。日常查詢用摘要檔,需要引述原文時再開完整檔。

讓摘要可信的幾個 prompt 技巧

先告訴 ChatGPT 檔案結構,例如「這檔案含 17 頁,每頁以 URL 行開頭」,再要求逐頁摘要、分主題分組、或引述特定段落並附 URL。文章裡有一個很實用的驗證方法:要求列出檔案裡所有 URL,如果清單比爬到的頁數短,代表它沒讀完整份檔案。

放進 Project 時可以設一條指令:「只根據上傳檔案回答,並在每個事實上方標註 URL」,答案的出處就固定下來。網站更新後重爬一次、替換檔案即可。

值得納入工具箱嗎

如果你要處理的是自己的 CMS 匯出或只是三五頁,複製貼上仍然夠用。但只要是「讀完一整個文件區或產品站,再反覆問問題」這類需求,爬取加檔案這條路明顯比較穩——這和我之前寫過的、把 ChatGPT 接上即時商業資料做潛在客戶名單的思路一樣:先解決資料進得來的問題,模型的回答才有意義(/blog/chatgpt-firecrawl-lead-generation-live-data/)。

限制也照實說:每頁 1 credit 對大站是累積成本,Claude 用戶要走 Firecrawl connector 而不是這個外掛,而大部分網站還沒有 llms-full.txt 這種現成檔案可以直接上傳。先免費方案的 1,000 credits 試爬一個小站,驗證摘要品質再放大。

參考來源

AGENTIC COMMONS由 PHLEGON LABS 經營
分享X電郵
支持我們

相關閱讀

  1. Firecrawl Crawl Endpoint 實戰:從單頁 scrape 到全站 crawl 的效率取捨

    Firecrawl 的 /v2/crawl 用一個 job 自動發現並爬取整個網站、回傳乾淨 Markdown。本文用實戰走查整理核心參數(limit、path 過濾、sitemap 模式)、三種非同步交付模式與計費公式,以及接進 RAG 管線的落地建議。

    Firecrawl

  2. 把 ChatGPT 接上即時商業資料:從空對話到帶 email 的潛在客戶名單

    Firecrawl 外掛讓 ChatGPT 讀 Google Maps、抓網站、查決策者工作 email,三個 prompt 約 21 分鐘跑完一輪名單。

    ChatGPT

  3. 2026 年 AI Agent 結構化資料擷取工具挑選指南:先看層級,再看可驗證性

    Firecrawl 的 2026 年評比指出,挑選結構化資料擷取工具時,應先依「層級」(網頁、文件、搜尋)分類,再評估 schema 彈性、 grounding 與真實成本。本文整理重點,協助產品開發者做出務實選擇。

    AI Tools