傳統的網路爬蟲技術將迎來重大的革新，傳統爬蟲技術有容易被祖檔、會靜默丟失資訊、圖像化表格與公式內容也被忽略等問題。加州大學柏克萊分校（UC Berkeley）研究團隊推出「PixelRAG」，一套完全以「像素」而非「文字」作為檢索基礎的 RAG（Retrieval-Augmented Generation）系統。這套系統不解析 HTML，而是將網頁截圖後直接讓視覺模型讀取，在多項基準測試中超越傳統文字型 RAG 達 18.1%，論文已發表於 arXiv，開源程式碼以 Apache 2.0 授權釋出，可供任何人自由使用。
PixelRAG：讓 AI 用「看」的讀網頁，超越純文字 RAG 準確率18%
傳統 RAG 的盲區：HTML 解析會丟資訊
目前主流的 RAG 系統運作方式是：將網頁 HTML 解析為純文字、切割成文字片段、用嵌入模型建立向量索引，再根據查詢檢索最相關的文字片段給語言模型閱讀。問題在於，HTML 解析過程會丟失大量視覺結構資訊，像是表格、圖表、公式、排版佈局在轉為純文字後往往面目全非。甚至更換不同的 HTML 解析器，就可能讓 RAG 的準確率波動約 10%。
PixelRAG 的做法完全不同：它將網頁渲染為截圖，把截圖切割成影像區塊（tiles），用視覺嵌入模型建立向量索引，查詢時直接在像素空間中檢索最相關的截圖區塊，再將截圖交給視覺語言模型（VLM）閱讀。整個流程跳過了 HTML 解析這個環節，保留了使用者在螢幕上實際看到的所有視覺資訊。
技術架構：Qwen3-VL-Embedding + FAISS 索引
PixelRAG 的核心技術流程分為四步：首先，用內建的 pixelshot 指令透過 Playwright 將網頁渲染為截圖並切割成影像區塊；其次，用 Qwen3-VL-Embedding 模型（經過 LoRA 微調，訓練資料為網頁截圖）將影像區塊轉為向量嵌入；第三，將向量存入 FAISS 索引；最後，查詢時在 FAISS 索引中進行向量檢索，找到最相關的截圖區塊後交給 VLM 回答。整個流程中，文字從未出現過，從輸入到輸出，資訊始終以像素形式傳遞。
一個關鍵設計決策是：索引儲存的是像素影像，而非解析後的文字。這代表未來升級到更好的視覺模型時，不需要重建索引，只需要換掉讀取截圖的模型即可。這種「索引與模型解耦」的設計讓系統具備了長期的生命力。柏克萊團隊已建立了一個包含 3,000 萬張維基百科截圖的預建索引，透過 Hugging Face 提供下載。
基準測試：在純文字任務上也贏了文字型 RAG
論文報告的基準測試結果頗具說服力。在 NQ（Natural Questions）和 SimpleQA 等純文字問答任務上，PixelRAG 的表現優於文字型 RAG 基線，提升幅度達 18.1%。在多模態開放域問答（MMSearch）、嘈雜新聞語料（LiveVQA）以及代理基準（MoNaCo）等測試中也取得明顯優勢。
純文字任務上打敗文字型 RAG 本身就有意義，它代表現有 RAG 系統在解析 HTML 時丟失的資訊量，可能比原先預期的更大。即使任務本身只需要回答文字問題，用截圖檢索的表現依然優於用文字檢索。
更具實用意義的是，PixelRAG 透過影像壓縮實現了高達 3 倍的 token 成本削減，在較低解析度下仍能維持準確率。這代表使用者可以在不犧牲準確率的前提下，大幅降低每次查詢的運算成本。對於需要大規模部署 RAG 系統的企業來說，這是一個直接且可衡量的成本優勢。
Claude Code 插件：讓 AI 看到網頁的樣子
PixelRAG 附帶一個名為 pixelbrowse 的 Claude Code 插件，讓 Claude 具備「視覺瀏覽」能力。安裝後，Claude 可以對任何網頁、PDF、arXiv 論文或本機應用程式進行截圖，然後直接從截圖中讀取資訊，而非透過 DOM 抓取文字。使用者只需下達指令如「截圖 https://news.ycombinator.com 並摘要頭條新聞」，Claude 就會自動截圖並閱讀。
這項功能解決了一個常見痛點：當網頁包含複雜的表格、圖表或動態排版時，傳統的文字擷取方式往往無法完整還原內容。透過截圖方式，AI 看到的與人類看到的完全一致，無論是表格中的資料、圖表中的曲線，還是排版中的層級關係，都不會在轉換過程中遺失。
安裝與使用
PixelRAG 以 Python 套件形式發布，可透過 pip 安裝。基礎安裝僅包含截圖渲染功能（pixelshot 指令），視覺嵌入與索引建構需要額外安裝對應模組。系統支援 Linux（CUDA）與 macOS（Apple Silicon / MPS），在沒有 GPU 的機器上也可用 CPU 執行，只是速度較慢。使用者也可以自行建構針對特定文件或網站的索引，在 Apple M 系列晶片上約需 3 分鐘即可完成一份 PDF 的索引建構。
柏克萊團隊也提供了一個線上 API 端點，內建 828 萬頁維基百科的預建索引，無需本地部署即可直接查詢，且支援以圖片作為查詢輸入的視覺搜尋功能。對於想快速體驗 PixelRAG 的開發者來說，這大幅降低了入門門檻。
對 RAG 領域的意義
PixelRAG 的論文結語挑戰了 RAG 領域的一個基本假設：文字表示是否真的是網路檢索的必要條件。實驗結果顯示，在純文字問答任務上，用截圖檢索的表現反而優於用文字檢索，這暗示傳統 RAG 系統在 HTML 解析過程中丟失的資訊量，可能比原先預期的更大。
這項研究出自柏克萊 SkyLab、BAIR 與 Berkeley NLP，論文已上傳至 arXiv，程式碼在 GitHub 上以 Apache 2.0 授權開源，任何人皆可自由使用與修改。對於正在建構 RAG 系統的開發者而言，PixelRAG 提供了一個值得嘗試的新思路：直接讓模型看到網頁原本的樣子，比花時間最佳化 HTML 解析器更有效。