這幾天 Google 剛開源的 Gemma 4 大語言模型可說是紅透半邊天，這個模型體量由 2B 一直到 31B 都有，E2B 甚至可以在 iPhone 或 Android 手機輕鬆跑起來。但您想想過只有 8 GB RAM 且不算大眾；硬體也不強的 Raspberry Pi 5 （樹莓派）能不能在本地端將 Gemma 4 跑起來？國外軟體開發者 Nick 決定嘗試看看。結果不只成功跑起來了，他還把它接上區域網路，讓其他電腦直接呼叫樹莓派上的 AI 來寫程式。
國外開發者成功用樹莓派在本地跑 Gemma 4 大模型
Nick 在之前已經分別在筆電和桌機上測試過 Gemma 4 模型，這次他想把 Gemma 4 塞進 Raspberry Pi 5 裡面跑。他很坦白地說，自己也不確定這能不能成功，因為即使是最小的模型版本，所需的算力需求也可能超出樹莓派的能力範圍，“but it‘s worth trying”。這邊也簡單列出 Raspberry Pi 5 與現在電腦的硬體能力概略對照，主要的坑在於記憶體小、算力低，8GB 記憶體的版本約 6000元台幣左右：
| 規格項目 | Raspberry Pi 5 | 相當於傳統 PC 等級 |
| 處理器 (CPU) | 四核 Cortex-A76 (2.4GHz) | Intel Celeron N5105 或 Core i3-4130 |
| 記憶體 (RAM) | 4GB / 8GB LPDDR4X | 當前文書型小主機入門配置 |
| 顯示核心 (GPU) | VideoCore VII | Intel HD Graphics 4000 (Ivy Bridge) |
| 儲存方式 | MicroSD / NVMe SSD (需擴充) | 早期文書筆電 (SATA SSD 速度) |
| 擴充性 | USB 3.0, PCIe 2.0, 双 4K HDMI | 微型電腦 (NUC) 配置 |
他的 Raspberry Pi 5 平常就掛在家庭網路上，透過 SSH 遠端操作，連圖形介面都沒裝，就是一台跑 Ubuntu Server 的精簡機器。他打開終端機應用讓觀眾看硬體規格：四核心處理器、8 GB RAM，此刻大部分記憶體都是空閒的，因為沒有跑任何吃資源的程式。
Nick 也順帶推薦了 tmux 這個終端多工應用，它能讓你在斷開 SSH 連線後，工作階段依然持續運行，對遠端操作來說非常實用。
安裝 LM Studio CLI
第一步是安裝 LM Studio。但因為樹莓派上沒有圖形介面，Nick 選擇安裝的是 CLI 版本，也就是所謂的 headless 版本。LM Studio 的開發團隊提供了一個專用的安裝腳本，一鍵搞定所有事情，安裝完成後就能直接啟動 daemon。安裝完成後，Nick 快速瀏覽了可用的指令集：模型管理指令、本地伺服器管理指令，以及一些其他工具。整體來說指令設計得相當直觀。
設定 SSD 儲存路徑
在正式下載模型之前，Nick 做了一個重要的前置設定：更改模型的儲存位置。他的 Raspberry Pi 5 外接了一顆 SSD，他希望模型存放在 SSD 上，而不是佔用 SD 卡的空間。他特別提到，Raspberry Pi 5 引入了一種更簡便的方式來連接 SSD 等外接儲存裝置，他自己已經這樣用了超過一年，體驗非常好。這個小細節對實際部署來說很關鍵，因為大型模型檔案放在 SD 卡上，讀寫速度和壽命都會是問題。
下載設定 Gemma 4 E2B 模型
儲存路徑設定好之後，Nick 開始下載 Gemma 4 家族中最小的模型 E2B，檔案大小約 4.5 GB。在等待下載的同時，他根據 Google 的官方公告，整理了這個模型家族的三大亮點：
第一，為 Agent 工作流而生。 整個 Gemma 4 家族在設計時就考慮了 agent-based workflows，原生支援 function calling，可以直接與外部工具互動。
第二，多模態能力。 這些模型能處理圖片和影片，而較小的模型（包括 Nick 正在安裝的 E2B）甚至還具備原生音訊支援，能直接理解語音輸入。
第三，超大上下文窗口。 支援 128,000 tokens （128K）的上下文長度，並且支援幾乎所有語言。
此外，Nick 強調了一個對開發者極為重要的資訊：Gemma 4 採用 Apache 2.0 授權，完全開源且允許商業使用，“That means you can do almost anything you want with these models”。
模型下載完成後，確認約有 40 億參數（4 billion parameters），對於簡單和小型任務來說應該足夠。
模型載入成功，Nick 再次觀察系統變化，可以清楚看到模型已經被載入到 RAM 中。接下來的關鍵步驟是啟動 API 伺服器，讓外部可以透過 HTTP 請求與模型互動。伺服器啟動後，Nick 謹慎地做了一次驗證：發送一個簡單的 HTTP 請求，取得可用 LLM 模型的清單。在回傳的清單中，他成功看到了剛下載的 Gemma 4 模型，確認一切運作正常。
到目前為止，LM Studio 啟動的伺服器只能在 Raspberry Pi 本機上存取。Nick 想要從區域網路中的其他電腦使用這個模型，所以他嘗試用 --host 0.0.0.0 參數重新啟動伺服器，讓它監聽所有網路介面。結果碰壁了。LM Studio CLI 的 server 指令並不支援 host 參數，只能指定 port。他選擇了最快速簡潔的方案：使用 socat 工具。socat 能在系統內轉發網路串流，Nick 把內部的 port 4000（LM Studio 伺服器）轉發到外部介面的 port 4001，等於在內外部端口之間建立了一座橋樑。這樣一來，任何從區域網路發送到 Raspberry Pi port 4001 的請求，都會被自動導向內部的 LM Studio 伺服器。
為了驗證，Nick 斷開 SSH 連線，回到 MacBook 的 macOS 終端機，從筆電端發送同樣的 HTTP 請求到 Raspberry Pi 的 IP 位址。結果成功了，他從 Raspberry Pi 上的 LM Studio 伺服器收到了回應，清單中可以看到 Gemma 4。
在 Zed 編輯器中連接模型
因為 LM Studio 啟動的本地伺服器完全模擬 OpenAI API，所以任何支援自訂 OpenAI endpoint 或 base URL 的應用程式，都能直接使用你的本地模型。這包括聊天介面（如 Chatbox AI、Open Web UI）以及各種編輯器和 IDE（如 VS Code、Cursor、Zed Editor）。Nick 選擇使用 Zed Editor 來做示範。設定完成後，在 LLM provider 設定頁面中，可以看到對應 Raspberry Pi 的條目。Nick 在聊天視窗底部選擇了 Raspberry Pi 上的 Gemma 4 模型，然後發送一個簡單的 prompt 來測試連線。模型開始思考，然後成功回覆了。
到這裡，Nick 總結了目前的成果：第一，Gemma 4 成功在 Raspberry Pi 上運行（即使是最小版本）；第二，能從區域網路中的另一台電腦與它互動。
程式撰寫效能測試（Python）
能聊天只是基本操作，是時候把模型推到極限了。Nick 先透過終端連回 Raspberry Pi，啟動系統資源監控，然後給模型一個他的標準測試任務：撰寫一個 Python 函式來排序物件列表。模型開始思考後，htop 顯示 Raspberry Pi 已經滿載，所有 CPU 核心都被完全佔用。模型完成推理後開始生成回應，Nick 特別以實際速度播放了一段，讓觀眾感受真實的生成速率。
他的評價是：「對於簡單的互動或不要求即時回應的腳本來說，這個速度是可以接受的」。最終結果令人驚喜：模型不僅寫出了排序函式，還提供了兩種不同的實作方式，並解釋了各自的適用場景。Nick 用了 “非常驚艷” 來形容。不過，包含推理階段在內，總耗時約 6 分鐘。Nick 認為如果關閉 reasoning mode（推理模式），時間可以再縮短一些。
創意任務測試（Web App 點子）
為了測試的完整性，Nick 又給了一個非程式類的任務：請模型想出三個 Web App 的點子。
經過一段被加速播放的思考階段後，模型開始生成內容。Nick 以實際速度展示了生成過程，他認為速度和前一個任務差不多，剛好在人類即時閱讀的舒適邊界上。對於非互動式的使用場景，這個速度是可以接受的。這次 Gemma 花了約 5 分鐘生成完整回應，但產出了大量文字，每個點子都有詳細的描述。
有興趣的朋友可以看看他的完整操作影片，蠻深入淺出的，如果你也有在玩Raspberry Pi 5 的話可以玩玩：
最終結論與評價
Nick 給出了他的最終評價：他認為在 Raspberry Pi 5 上運行 Gemma 4 E2B 小模型是完全可行的，而且結果是可用的，至少對於特定的腳本或自動化任務來說，這樣的設定是有意義的。不過對一般人來說這樣折騰有一定的技術門檻，這種規格的機器如果是跑雲端模型養養龍蝦可以順跑，但跑得動 E2B 的確是蠻厲害的，不過這邊先給大家澆盆冷水，如果你想用 E2B 跑龍蝦的話，你可能會被他氣死或害死，至少要 21B 以上調用工具能力才會正常，不需要花時間嘗試。