全球首發!崑崙萬維重磅推出AI短劇平台SkyReels

2024-08-19   野馬財經

8月19日,崑崙萬維發布全球首個集成視頻大模型與3D大模型的AI短劇平台SkyReels。SkyReels平台集劇本生成、角色定製、分鏡、劇情、對白/BGM及影片合成於一體,讓創作者「一鍵成劇」,輕鬆製作高質量AI視頻。

SkyReels能夠通過AI一鍵生成完整劇本、分鏡、人物對白與BGM,支持角色形象、音色與分鏡的自定義調整,並能夠自動將內容轉換為1080P 60幀的高清視頻,單次可生成視頻長度達180秒,相比Sora單次可生成60秒視頻、可靈單次可生成10秒視頻,有顯著突破。一鍵整合所有創作成果,極大提高視頻的創作效率,降低創作成本,推動「一人一劇」時代加速來臨。

同時,WorldEngine結合了引擎的精確可控能力(如光照模擬、物理模擬、3D空間、實時交互等) 以及AI視頻大模型的幻想生成能力,提供了全新的線上混合視頻創作模式,讓視頻創作從模糊生成邁向更加精確可控。

SkyReels的AI劇本生成功能基於崑崙萬維自研劇本大模型SkyScript打造。為了讓AI生成的劇本具備短劇的高密集爽點劇情,崑崙萬維首先構建了億級的高質量短劇結構化數據集SkyScript-100M,該數據集針對海量精彩短劇的劇情節奏、爽點、情緒變化進行了高質量標註;

其次算法團隊設計了漸進式生成的劇本生成框架,實現了模型能夠輸出高度結構化的精彩劇本,無論是新手作者還是資深劇作家,都能通過它激發創意,輕鬆創作出引人入勝的短劇劇本。

SkyScript劇本大模型技術原理圖

短劇創作的另一重要環節——分鏡生成,則由崑崙萬維自研分鏡生成大模型StoryboardGen提供底層技術。StoryboardGen是崑崙萬維首創的的基於DiT-MoE架構(基於Diffusion Transformer技術的Mixed-of-Experts混合專家架構)的分鏡生成模型,能夠實現高密度分鏡信息生成,大幅增強視覺敘事表達能力。

輸入劇本後,StoryboardGen模型會將劇本拆解成全局與主體兩部分,全局部分包括場景、景別、構圖等對分鏡的整體描述,主體部分包括角色形象、動作人物角色的定製,最終彙集至故事板(Storyboard)智能體生成完整分鏡。StoryboardGen的專項多智能體架構,能夠有效保證人物與場景的可控性和一致性,創造出高質量的工業級分鏡。

崑崙萬維StoryboardGen分鏡大模型技術原理圖

在最終的影像生成環節,WorldEngine是業界首個將AI 3D引擎與視頻大模型深度融合的創新平台。這是一項劃時代的技術創新,WorldEngine以圖層融合技術為橋樑,打造出前所未有的3D與視頻混合創作模式。

用戶使用SkyReels生成AI視頻時,可以對任意元素自由選擇使用3D AI引擎生成或者視頻大模型生成,該創新模式突破了當前AI視頻大模型時常出現的「穿模」、「反地心引力」等反物理規律現象,最大程度實現了物理模擬的精細度與視頻大模型的幻想創造力的完美融合。自此,AI視頻生成大模型將從「模糊控制」時代走向「精確可控」時代。

在3D AI引擎方面,崑崙萬維自研的Sky3DGen大模型能夠生成多樣化的3D元素和場景,從自然景觀到未來都市,從靜態物體到動態角色,並提供了實時的3D場景交互能力,使得用戶可以即時看到調整和編輯的效果,加快創作流程。在WorldEngine的加持下,用戶還可以輕鬆構建3D虛擬影棚,實現虛擬拍攝的夢幻體驗。

人物表演是短劇畫面呈現的核心環節之一。因此,在AI人物表演方面,崑崙萬維SkyReels團隊專門研發了ActorShow人物生成模型,使得SkyReels所生成的AI人物有著更強的口型表情和肢體動作的可控生成能力,角色呈現更自然。

而針對視頻後期合成中遇到的光照差異、風格差異等需求,崑崙萬維SkyReels團隊單獨訓練了專門的融合生成模型,使得圖層融合後的視頻呈現良好的一致性

崑崙萬維AI短劇平台SkyReels的推出,標誌著全球AI短劇創作的一次技術飛躍,它將對視頻內容創作流程進行全面顛覆,讓創作者從繁瑣、複雜的製作流程中解放出來,專注於創意實現與靈感表達,讓「一人一劇」的夢想成為現實。