OpenAI 近期在 Realtime API 中推出新一批 GPT-Realtime-Translate 語音模型，其中最適合一般使用者立即感受到差異的，可能不是語音助理，而是即時語音翻譯。日本創作者 Motoki | ZentoAI 在 X 上分享，他用 Codex 依照 OpenAI 官方 Cookbook 文件做出一個 GPT-Realtime-Translate 應用，測試瀏覽器分頁音訊的即時翻譯效果，並附上官方教學與 GitHub 範例程式碼。從目前公開資料來看，這套工具已經不是概念展示，而是可以在本地端用 Node.js 架起來測試的開發者範例。
GPT-Realtime-Translate 是什麼？
GPT-Realtime-Translate 是 OpenAI 新推出的即時語音翻譯模型，定位不是一般語音助理，而是專門用於 speech-to-speech live translation，也就是把輸入語音即時翻成另一種語言的語音，同時可輸出文字逐字稿 。OpenAI 官方說法是，這個模型支援超過 70 種輸入語言，並可翻譯成 13 種輸出語言，目標場景包括線上會議、直播、課程、跨國客服、活動、媒體內容與創作者平台。它和一般語音模型最大的不同，是模型被設計成「翻譯」而不是「回答」，因此不需要用 prompt 要求模型扮演翻譯員，也比較不會把使用者講的內容當成指令來執行。
新しいリアルタイム翻訳モデルを発表できることをうれしく思います。ぜひ本日よりAPIでお試しください。 pic.twitter.com/pi3uIhm2xA
— jason liu (@jxnlco) May 7, 2026
OpenAI Cookbook 的說明指出，GPT-Realtime-Translate 採用連續音訊輸入與連續翻譯輸出的模式，不需要像傳統語音對話一樣等待一輪話講完再產生回應。模型會處理輸入音訊，同時串流輸出翻譯後的語音與字幕。這對語序差異大的語言特別重要，因為翻譯系統必須等待足夠語境，又不能讓延遲變得太明顯。
可以本地端架設嗎？
根據我們實測，一般人可以很容易的將這個即時翻譯架設在自己本地端，但這不是把模型下載到本機離線運算，而是本地端架設前端與 Node.js server，實際語音翻譯仍連到 OpenAI Realtime Translation API。X 上的網友使用藍牙耳機也可以即時翻譯。
GPT-Realtime-Translate のアプリを作ってリアルタイム翻訳を試してみた！！！🥳🥳🥳
アプリの作り方、使用感レビュー、活用方法など話しています🎉
Codexに渡した資料はこちら
→ https://t.co/tNayqtuAMlhttps://t.co/xYLGa5IrsE https://t.co/6YwFvnoN3G pic.twitter.com/rp883OPbof— Motoki | ZentoAI (@zento_ai) May 7, 2026
官方 Cookbook 目前提供三種 demo：Browser tab translation、Twilio phone translation、LiveKit video translation。若只是想在自己的電腦測試，最容易架設的是 browser-translation-demo。官方 README 顯示需求只有 OpenAI API key、Node.js，以及瀏覽器端的分頁音訊授權。
基本流程如下，官方 Github 網站有詳細說明（如果看不懂的話，可以丟那個網址叫 OpenClaw 或 Hermes 幫你架設，難度不高）：
git clone https://github.com/openai/openai-cookbook.git
cd openai-cookbook/examples/voice_solutions/realtime_translation_guide/browser-translation-demo
npm install
cp .env.example .env
npm run dev.env 至少需要填入：
OPENAI_API_KEY=your-openai-api-key
OPENAI_TRANSLATION_MODEL=gpt-realtime-translate
OPENAI_INPUT_TRANSCRIPTION_MODEL=gpt-realtime-whisper
PORT=5173打開本地端網址後，使用者可以選擇一個有聲音的瀏覽器分頁，指定輸出語言，App 就會透過 WebRTC 把音訊送往 OpenAI Realtime Translation API，再把翻譯後的語音和字幕播放回本地頁面。
不過這裡有一個很容易踩到的坑：官方 browser-translation-demo 預設只抓「Chrome 分頁音訊」，不會主動要求麥克風權限。如果拿它來測電話、FaceTime、LINE 通話、Zoom 桌面 App，或任何不是 Chrome 分頁播放的聲音，瀏覽器可能不會傳入音訊軌，畫面就會出現 No tab audio was shared. Pick a Chrome tab and enable tab audio.。這不是 OpenAI API 失敗，而是前端根本沒有取得可翻譯的音訊來源。
如果只是要測電話或外部聲音，做法應該改成麥克風輸入：讓網頁呼叫 navigator.mediaDevices.getUserMedia({ audio: true })，請使用者授權麥克風，再把麥克風音訊送進同一條 WebRTC Realtime Translation 流程。這樣測電話時可以把電話開擴音，讓電腦麥克風收音；若要做正式產品，才需要進一步串接 Twilio、SIP、LiveKit 或系統音訊路由。
我們實測自己這台 Mac mini 完成 browser-translation-demo 本地架設，測試結果如下，目前還是感覺有一點延遲但表現已經很驚艷：
比較需要注意的是瀏覽器。官方 demo 使用 getDisplayMedia() 擷取分頁音訊，這在 Chrome、Edge 類瀏覽器通常比 Safari 穩定。如果要測 YouTube、直播或網頁影片的即時翻譯，建議用 Chrome 開 demo，並在分享視窗中勾選分享分頁音訊。如果要測電話或桌面 App 聲音，則應切到 Microphone / call speaker，允許麥克風後再測。
成本怎麼算？
OpenAI 公開價格顯示，GPT-Realtime-Translate 是按分鐘計價，每分鐘 0.034 美元；GPT-Realtime-Whisper 則是每分鐘 0.017 美元 。以 2026 年 5 月初約 1 美元兌新台幣 31.4 元估算，GPT-Realtime-Translate 約每分鐘新台幣 1.07 元，一小時約新台幣 64 元。若同時使用即時逐字稿模型，成本會再增加。這個價格對個人測試不算高，但如果用在長時間直播、客服中心或多人會議，費用會跟著分鐘數和連線數累積。Twilio 和 LiveKit 版本還會加上各自平台的通訊費或雲端服務費。
實用性與限制
這項技術最有價值的地方，是它把「即時口譯」從大型平台功能變成開發者可以快速嵌入的 API。過去若要做直播翻譯，常見流程是語音轉文字、文字翻譯、文字轉語音，三段式架構不只延遲高，也容易在每個環節累積錯誤。GPT-Realtime-Translate 則把即時翻譯做成單一語音模型流程，對使用體驗有明顯優勢。
但目前仍有幾個限制。第一，輸出語言不是無限制，官方 demo 的程式碼列出的支援輸出語言包含 es、pt、fr、ja、ru、zh、de、ko、hi、id、vi、it、en。第二，它目前不支援自訂 prompt 或指定聲音，模型會根據來源說話者的語氣、音高和風格做動態語音適配。第三，這是雲端 API 服務，不適合被誤解成完全離線的本地翻譯工具。
OpenAI 這波更新不只針對翻譯，還包括 GPT-Realtime-2 和 GPT-Realtime-Whisper，代表 OpenAI 正把語音 API 從單純對話功能，推向可即時理解、翻譯、轉錄與執行任務的開發平台。
小結
GPT-Realtime-Translate 的重點不是「又一個翻譯 App」，而是 OpenAI 把即時語音翻譯變成可被一般開發者快速整合的基礎能力。對一般使用者來說，它可以拿來翻譯 YouTube、直播、線上課程或遠端會議；對開發者來說，它更像是一個可嵌入客服、電話、視訊會議和直播系統的即時口譯模組。真正要注意的是，它不是離線模型，成本按分鐘累積，也需要處理音訊隱私與服務穩定性。