Tesla 的純視覺自動駕駛方案一直以來都是業界爭論的焦點——沒有 LiDAR、沒有雷達，只用攝影機，如何在夜間、濃霧、強光等惡劣環境下安全行駛？Elon Musk 在 2026 年 5 月 9 日於 X 平台貼出一張對比圖，首次向大眾展示了 Tesla FSD 的核心祕密：光子計數重建（photon count reconstruction）。
馬斯克分享 Tesla FSD「光子計數重建」技術
這張對比圖的左側是一般人眼熟悉的 RGB 影像，在強烈逆光下畫面幾乎全白，細節全部消失在眩光之中；右側則是 Tesla AI 從同一組感光元件原始數據重建出來的畫面，房屋、樹木、車輛的輪廓清晰可辨。Musk 寫道：「這就是 Tesla FSD 在夜間或極端眩光下依然能看得很清楚的原因。」
The human-perceived RGB is image 1 and the Tesla AI photon count reconstruction is image 2.
This is why Tesla FSD can see so well at night or through extreme glare. pic.twitter.com/ttBMzgpJtd
— Elon Musk (@elonmusk) May 9, 2026
跳過 ISP：直接從光子到控制
要理解這項技術的關鍵，必須先了解一般數位相機的影像處理流程。當光線穿過鏡頭打在感光元件（CMOS sensor）上時，感光元件記錄的是每個像素接收到的光子數量——也就是原始的 Bayer 陣列數據。但這份數據在進入我們眼睛之前，會經過一連串的影像訊號處理器（ISP）處理：去馬賽克、白平衡、色彩校正、伽瑪校正、壓縮成 JPEG⋯⋯最終輸出為一張「看起來漂亮」的 8-bit RGB 圖片。
問題在於，ISP 的每個處理環節都在丟失資訊。一張 8-bit RGB 圖片每個色頻只有 256 階亮度（共 1,678 萬色），而 Tesla 所使用的 Sony IMX490 感光元件原始輸出是 12-bit 數據，每個像素有 4,096 階亮度。這之間的資訊落差高達 16 倍。
Tesla 的做法是：直接把 ISP 整個跳過。攝影機感光元件的原始 Bayer 數據不經任何傳統影像處理，直接送入 Tesla 自駕電腦的神經網路進行分析。Musk 在 2025 年第一季財報會議上被分析師問到「強光會讓攝影機失明嗎？」時回答：「實際上並不會。我們使用的是一種稱為直接光子計數（direct photon count）的方法。一般經過 ISP 處理後的影像，如果直接對著太陽拍，畫面會完全變白。但我們讀取的是原始光子計數數據。」
專利揭密：Bit-Augmented Convolution 架構
2026 年 1 月，美國專利商標局公開了 Tesla 一份名為「Direct Raw Bayer Image Input to Compute Hardware」（直接原始 Bayer 影像輸入至運算硬體）的專利，專利號碼 US 20260019717 A1。這份專利詳細描述了 Tesla 如何克服高 bit 原始數據在現有硬體上的運算挑戰。
傳統的深度學習加速器（NPU、Tensor Core）通常針對 8-bit 整數運算最佳化，無法直接處理 12-bit 或 16-bit 的原始感光數據。Tesla 的解法是一種稱為 bit-augmented convolution 的技術：將高 bit 數據拆解為多個低位元平面（例如將 16-bit 拆成 MSB 和 LSB 兩個 8-bit 平面），分別進行卷積運算後再合併結果。這套架構不僅保留了原始數據的完整動態範圍，還能在不同光照條件下動態切換運算精度：在極端環境下使用全精度，在一般環境下降功耗運作。
這也解釋了為什麼 Tesla 的 FSD 能夠實現從「光子到控制」（photon-to-control）的端到端延遲最小化：不需要等待 ISP 處理，不需要經過 JPEG 壓縮和解壓縮，感光元件上的每一個光子都能以最快的速度變成方向盤和油門的指令。
不是突然出現：從 2021 年就開始的布局
Tesla 的「光子計數」策略並不是最近才冒出來的想法。早在 2021 年 11 月，Musk 就在 X 上回應 FSD 的視覺訓練方法時表示：「我們正在訓練神經網路使用實際的光子計數（actual photon counts），而不是經過人類視覺濾波器處理過的影像。那些濾波器是為了讓圖片『好看』而設計的，但對神經網路來說是一種退化。」
從那時起，Tesla 一直在往這個方向前進。2024 年推出的 FSD V12 首次大規模導入端到端神經網路，2025 年的 FSD V13 進一步強化了原始感光數據的處理能力，而到了 2025 年第一季財報會議，Musk 正式向華爾街分析師揭露了「直接光子計數」這個技術名稱。
2026 年 5 月的這次公布，是 Tesla 首次以視覺化方式讓外界直接看到這項技術的威力。Musk 選擇在 FSD 進入 Unsupervised（全無人監督）階段的關鍵時刻公開這項技術，顯然有其戰略意圖：一方面回應外界對純視覺方案安全性的質疑，另一方面也是在為預計今年稍晚推出的 Robotaxi 服務鋪路。
為何這對自駕車產業至關重要
目前絕大多數自駕車業者（如 Waymo、Cruise、百度 Apollo）都採用 LiDAR + 雷達 + 攝影機的多傳感器融合方案。LiDAR 雖然在夜間和低光環境下表現穩定，但成本高昂（每組數千至數萬美元），而且在暴雨、濃霧等天氣下同樣會受到影響。
Thanks Elon. Some LiDAR diehards refused to believe this when I told them, still insisting this was where LiDAR was required. I captured this last year. My eyes saw even less than this. Yet the Autopilot had no trouble seeing the road and the other vehicles. Today, Elon explained… pic.twitter.com/TtzXhXkmBk
— David Lee YL (@David_Lee) May 9, 2026
Tesla 的純視覺方案最大優勢是成本：一組攝影機的成本遠低於任何 LiDAR 系統，讓 Tesla 能夠在數百萬輛量產車上部署相同的自駕硬體。而光子計數技術的突破意味著，純視覺方案在惡劣環境下的表現可能已經超越多傳感器融合方案，因為 LiDAR 和雷達終究無法辨識交通標誌上的文字或紅綠燈顏色，而 Tesla 的 AI 在取得原始光學數據後，可以做到的事情遠比傳統電腦視覺更多。
Today’s AV stacks infer traffic signal and brake light state from camera pixels, then try to align them to lidar geometry. Layers between sensing and decision.
Humans see color and depth together because they arrive together. Rev8 does the same: 48-bit RGB + 3D depth, same… pic.twitter.com/JgEALPo3IS
— Ouster (@ousterlidar) May 8, 2026
更重要的是，這項技術的應用範疇不限於汽車。Tesla 正在開發的 Optimus 人形機器人也將採用相同的視覺架構，在工廠、倉庫、家庭等各種光照條件複雜的環境中，能夠直接讀取原始光子數據的 AI 視覺系統將擁有巨大的環境適應優勢。
HW5 與 AI5 晶片：硬體升級路線
Tesla 目前最新的 Hardware 4（AI4）已經內建支援原始 Bayer 數據處理的神經網路加速器。下一代 AI5 晶片（剛剛宣布完成流片）則將進一步強化這方面的能力，AI5 的原始運算效能號稱是 AI4 的 8 倍，記憶體容量達 9 倍，專為處理更高解析度、更高 bit-depth 的原始感光數據而設計。
這意味著隨著硬體升級，Tesla FSD 的視覺能力還有巨大的成長空間，從目前的 12-bit 往 16-bit 甚至更高精度邁進，從單一攝影機的原始數據處理進化到多攝影機數據的即時融合，從單純的物體辨識進化到完整的場景理解。
批評與質疑：仍有待驗證
當然，這項技術並非沒有爭議。物理學家 Sean Kirkpatrick（前 AARO 主任）曾指出，缺乏完整獨立驗證的情況下，任何視覺系統的宣稱都需要審慎看待。部分業界人士也認為，即使光子計數技術能處理極端光照，但在暴雨、大雪、塵埃等物理性遮蔽面前，純視覺方案仍有難以克服的天花板。
另外值得注意的是，Musk 這次公布的對比圖雖然震撼，但並未提供任何標準化的測試數據或第三方驗證結果。在 FSD Unsupervised 大規模上路之前，這些宣稱仍然停留在技術展示的層面。
結論
Tesla 的「光子計數重建」技術代表了一種根本性的自駕車視覺思維轉變：與其想辦法讓攝影機看到人類能看到的東西，不如讓 AI 直接讀取攝影機能記錄到的一切資訊。當傳統 ISP 為了讓圖片「好看」而丟棄了大量關鍵數據時，Tesla 選擇了保留所有資訊、讓神經網路自己決定哪些數據有用。
從 2021 年的首次暗示到 2026 年的完整揭露，這條路 Tesla 走了將近五年。隨著 AI5 晶片的即將到來和 Robotaxi 服務的啟動，光子計數技術將從技術展示走向實際考驗，而這也將決定純視覺自駕方案的最終命運。