近日中國 Bilibili 推出一款開源動畫影片生成模型「Index-AniSora」,Index-AniSora 可以一鍵生成各種動漫風格的影片鏡頭。Bilibili 表示 Index-AniSora 能夠彌補現今影片生成模型處理動漫影片方面的不足,能夠更好瞭解動漫運動的軌跡。
Bilibili 推出開源動畫影片生成模型 Index-AniSora,強化 AI 動漫影片生成能力
Bilibili 近日推出一款開源動畫影片生成模型「Index-AniSora」,Index-AniSora 可以生成包含系列劇集、原創動畫、漫畫改編、VTuber 內容、動漫 PV 等各種動漫風格的影片鏡頭。根據 Index-AniSora 提供的模型概要來看,Index-AniSora 收集動漫影集、電影、自製動畫、MMD、虛擬偶像影片等大量動畫資源,將這些內容進行鏡頭切割並過濾品質不佳的片段。接著經過篩選過的片段就能成為 Index-AniSora 的訓練資料集。
Index-AniSora 表示雖然現在 Sora、Kling 等高級影片生成模型在生成真實影片方面取得成功,不過由於動漫影片具有獨特的風格,有時會與現實生活中的物理定律相背。因此 Sora 和 Kling 在動漫影像生成部分的效果就比較沒有那麼優秀。而 Index-AniSora 影片生成模型提出專為動漫影片生成而設計的綜合系統 AniSora 則能很好的處理動漫影像生成的部分,譬如在不同動漫藝術風格下的生成效果:
- Prompt:畫中的人物坐在一輛向前行駛的汽車裡,向後方揮手,頭髮在風中左右搖曳
- Prompt:畫面中,兩個身穿紅色婚紗的人影牽著一條紅繩,向遠方走去
- Prompt:黃髮身影伸出手去摸那跪著的人影的頭,跪著的人影身體起伏,大口喘息。
- Prompt:畫面中,一個人高速向前衝刺,由於速度太快,其動作顯得有些模糊。
- Prompt:在畫面中,角色舉起手臂,氣流明顯地沿著手臂表面流動。
大家可以在 GitHub 和 Hugging Face 看到 Index-AniSora 的詳細介紹,甚至可以到 Komiko 影片生成網站上去體驗 AniSora 的影片生成效果。不過想要在 Komiko 使用 AniSora 需要付費,大家可以自行斟酌。有興趣可以點擊下方連結前往 Komiko 瞭解更多。