NVIDIA 研究團隊近日正式開源 LongLive 2.0，這是一套以 NVFP4（4-bit 浮點）量化為核心的長視訊生成基礎設施，從訓練到推理全鏈路打通。根據官方數據，搭載 5B 參數模型在 GB200 上可達 45.7 FPS 的推理速度，端到端生成 64 秒視訊僅需 36.3 秒，相比 BF16 基線的 112.9 秒快了 3 倍以上。記憶體佔用方面，NVFP4 KV Cache 使峰值 VRAM 降至 19.4GB，讓消費級顯卡也有機會運行長視訊生成任務。
NVIDIA 開源 LongLive 2.0：NVFP4 量化讓VRAM 佔用砍半、速度翻倍
這個專案源自 NVIDIA 的 LongLive 系列，第一代在 2026 年 1 月被 ICLR 2026 接收，著重於即時互動式長視訊生成。LongLive 2.0 則將重心從「演算法」轉向「基礎設施」，試圖解決長視訊生成在實際部署時面臨的速度與記憶體瓶頸。
NVFP4 量化：從 20GB 降到 10GB 以下
LongLive 2.0 最核心的技術突破在於 NVFP4 量化。傳統視訊生成模型使用 BF16（16-bit 浮點）運算，一個 5B 參數模型的 VRAM 需求約 20GB，加上 KV Cache 和視訊序列長度的增長，很快就會超出單張消費級顯卡的容量。LongLive 2.0 透過 NVFP4 的 W4A4（權重 4-bit、啟動值 4-bit）推理管線，將模型壓縮到 4-bit 精度，VRAM 佔用降至 10GB 以下。
量化後的品質損失控制得相當好。根據官方公布的 VBench 評測，LongLive 2.0 在短視訊基準上拿到 85.06 分，與 BF16 基線的差距在可接受範圍內。此外，團隊進一步優化了 NVFP4 推理路徑，加入融合的 Triton RoPE/adaLN 核心、減少 KV Cache 同步開銷、原地量化 KV Cache 更新等改進，整體吞吐量再提升 18.6%。
序列平行訓練：讓長視訊微調不再爆顯存
長視訊的自回歸（AR）訓練一直是記憶體消耗大戶。模型需要同時處理「乾淨的歷史幀」和「帶噪聲的目標幀」序列，隨著視訊長度增加，GPU 記憶體、VAE 潛在編碼、DiT 矩陣乘法的消耗都會急劇攀升。LongLive 2.0 引入了 Balanced Sequence Parallel（Balanced SP）機制，將序列沿時間軸切分到多張 GPU 上，每張卡同時持有來自同一時間區塊的乾淨與噪聲潛在張量。
這種設計有兩個好處。第一，它與 teacher-forcing 的注意力遮罩自然匹配，每張卡都能計算有效的損失梯度。第二，VAE 編碼也可以分片進行，避免單卡瓶頸。搭配 NVFP4 精度，64 秒 AR 訓練相比 BF16 基線加速 2.1 倍，峰值記憶體佔用降至 BF16 的 0.69 倍。
多鏡頭連續生成與異步解碼
LongLive 2.0 支援多鏡頭平滑銜接的長視訊自動生成。透過 Multi-shot Attention Sink 機制，模型在切換鏡頭時能保持上下文連貫性，避免傳統方法中鏡頭切換時出現的畫面斷裂或風格跳躍。
推理端的另一項優化是異步解碼（Async Decoding）。傳統流程中，VAE 解碼會阻塞下一幀的生成管線。LongLive 2.0 將 VAE 解碼放到獨立的執行緒上，與 DiT 推理平行運作，減少了管線閒置時間。加上序列平行推理與 FP8 PTQ（訓練後量化）支援，從單卡到多卡都能高效運行。
與競品的差異：基礎設施思維 vs 模型思維
目前開源視訊生成領域的主要玩家包括騰訊的 HunyuanVideo、智譜的 CogVideoX，以及阿里巴巴的 Wan 系列。這些專案的重心在於模型架構創新與視訊品質提升，而 LongLive 2.0 的定位不同，它是一個「基礎設施層」，解決的是如何高效訓練和部署長視訊模型的問題。
LongLive 2.0 本身基於 Wan2.2-TI2V-5B 模型進行 AR 微調，並在 5 月 30 日新增了對 Wan2.2 的 I2V（圖生視訊）AR teacher-forcing 訓練與 DMD 蒸餾支援。這代表開發者可以將 LongLive 2.0 的 NVFP4 管線套用到不同的基礎模型上，而不是綁定單一模型架構。
實際部署表現
以下是 LongLive 2.0 在不同視訊長度下的端到端生成時間對比：
- 16 秒視訊：BF16 基線 26.6 秒 → LongLive 2.0（2-step）11.2 秒
- 32 秒視訊：BF16 基線 53.2 秒 → LongLive 2.0（2-step）19.2 秒
- 64 秒視訊：BF16 基線 112.9 秒 → LongLive 2.0（2-step）36.3 秒
在 GB200 上的極限測試中，NVFP4 推理可達 45.7 FPS；標準 5B 模型推理則為 24.8 FPS，VBench 評分 85.06。
研究團隊與論文背景
LongLive 2.0 的研究團隊陣容龐大，由 15 位研究員共同完成，通訊作者包括 NVIDIA 的 Song Han 與 Enze Xie。Song Han 是 MIT 電機工程教授，同時在 NVIDIA 擔任研究科學家，以模型壓縮與高效推理領域的研究聞名，曾提出 Lottery Ticket Hypothesis 等重要理論。Enze Xie 則是 NVIDIA 的資深研究員，主導了 Sana 系列高效影像生成模型的開發。
論文於 2026 年 5 月發表在 arXiv（編號 2605.18739），第一代 LongLive 則在 2026 年 1 月被 ICLR 2026 接收。從時間線來看，NVIDIA 在不到半年內就完成了從 1.0 到 2.0 的迭代，速度相當快。GitHub 倉庫截至 7 月 11 日已累積 2,437 顆 Star 與 229 個 Fork，社群反應熱烈。
對開發者的實際意義
LongLive 2.0 採用完全開源策略，從模型權重、訓練程式碼到推理管線全部公開。開發者可以透過一行指令取得所有程式碼：git clone --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git。專案同時提供完整的文件、Demo 頁面與 YouTube 示範影片，降低了技術門檻。
對於有意在本地部署長視訊生成的開發者而言，NVFP4 量化帶來的記憶體節省是決定性因素。5B 模型從 20GB 降到 10GB 以下，意味著一張 RTX 4090（24GB VRAM）就能同時載入模型與 KV Cache，進行 720p 解析度的長視訊生成。這在過去需要 A100 或 H100 等數據中心級顯卡才能做到。
此外，LongLive 2.0 在 7 月 8 日新增了 FP8 推理支援（W8A8），提供了另一種精度與速度的平衡選項。對於擁有較新顯卡（如 RTX 5090）的用戶，FP8 可能在不犧牲太多品質的情況下提供更好的相容性。
結語
LongLive 2.0 代表 NVIDIA 在視訊生成領域的一次策略性佈局。與其推出另一個視訊生成模型，NVIDIA 選擇從基礎設施層切入，解決開發者在長視訊生成時最頭痛的記憶體與速度問題。NVFP4 量化讓 5B 模型的 VRAM 需求降到消費級顯卡可負擔的範圍，序列平行訓練讓長視訊微調不再需要動輒數十張 GPU。對開發者而言，這是一套可以直接拿來用的工具鏈，而不是又一個需要大量適配工作的研究模型。