即夢AI接入豆包·視頻生成模型,打造更高質量智能化創作體驗

2024-09-26     砍柴網

9月24日,2024火山引擎 AI 創新巡展在深圳舉辦。巡展正式發布豆包·視頻生成模型等全新模型,豆包通用模型pro 及多個垂類模型也得到了大幅升級。

會上,即夢 AI 及剪映市場和運營負責人陳欣然從產品和用戶使用的角度,分享了 AIGC 時代即夢 AI 將如何基於豆包·視頻生成模型,幫助創作者解放創意,帶來效率提升。

即夢 AI 及剪映市場和運營負責人 陳欣然

陳欣然指出,目前即夢 AI 已經接入了豆包·視頻生成模型,正在進行內測的場景和效果打磨,未來將逐步開放給所有用戶,讓每個人都能夠體驗到 AI 創作的趣味性。

01.

即夢AI等業務場景打磨+技術突破

豆包·視頻生成模型加速AIGC應用創新

陳欣然表示,AI 進行創作的過程,與傳統創作工具體驗存在很大區別。AI 創作是動態的過程,過程中由於生成式 AI 本身的隨機性,往往會帶給創作者驚喜和啟發,在激發更多靈感的同時,拓展想像力的邊界,成為創作者和藝術家的智能夥伴。基於這一理念,即夢 AI、剪映、CapCut、醒圖等產品都基於豆包·視頻生成模型的能力,上線應用了 AI 技術。

截至9月,豆包大模型日均 tokens 使用量已經超過1.3萬億,相比5月首次發布時猛增十倍。豆包通用模型pro 最新版本綜合能力累計提升 25%,在各個維度都處於國內領先。作為豆包大模型家族最新成員之一,豆包·視頻生成模型具有精準語義理解、強大動態與炫酷運鏡、一致性多鏡頭生成、高保真多風格等優勢。基於精準的語義理解能力,能遵從複雜的用戶 prompt,解鎖時序性多拍動作指令與多個主體間的交互能⼒;擁有變焦、環繞、平搖、縮放、目標跟隨等多鏡頭語言能力,靈活控制視角;在一個 prompt 內實現多個鏡頭切換,同時保持主體、風格、氛圍的一致性;支持包括黑白、3D 動畫、2D 動畫、國畫等多種風格和不同比例尺寸,適配於各種終端,以及電影、手機豎屏等不同畫幅。

眾多優勢背後,是位元組跳動對視頻⼤模型技術研發的不斷投⼊。通過⾼效的 DiT 融合計算單元、全新設計的擴散模型訓練⽅法和深度優化後的 Transformer 結構,讓⽣成視頻的動作更靈動,鏡頭更多樣,細節更豐滿。

02.

即夢AI便捷、易用

提升創作效率、打造自由創作體驗

豆包·視頻生成模型的進展,得益於抖音和剪映對視頻日積月累的理解,而反過來,模型也為視頻創作帶來了巨大提升。從產品及用戶應用角度出發,針對品牌宣傳與推廣、市場營銷等需求,即夢 AI 已經形成並具體落地了部分 AIGC 能力,幫助實現業務創新及加速。現場,陳欣然展示了即夢 AI 基於豆包·視頻生成模型製作的成果。

僅需錄製或上傳一段高清、時長3分鐘的正面視頻,即夢 AI 即可創造出用戶的「數字分身」。同時在豆包·聲音復刻模型幫助下,用戶僅需5秒語音輸入就能實現聲音的克隆,為數字人配上自然流暢、毫無違和的聲音。

內容營銷創作神器可為電商商家用戶帶來高質量的內容素材。過去,商家可能需要花費幾個小時拆解帶貨視頻的鏡頭轉換、文案等,並花費大量時間進行剪輯。啟用即夢 AI 後,僅需填寫商品名、上傳素材或者粘貼商品頁連結,即可配合節日等熱點,一鍵生成多個不同風格的帶貨視頻,全過程時間僅需幾分鐘,極大提升營銷素材製作效率。

此前,即夢 AI 聯動剪映共同舉辦了名為「未來影像計劃」的短片大賽,大量新時代 AIGC 創作者、藝術家雲集於此,並湧現了海量奇思妙想。在此過程中,生成式 AI 極大降低了創作門檻。以往此類創意短片視頻往往需要5-10人團隊進行協作,且製作周期可能長達1-2個月,在即夢 AI 以及剪映的幫助下,大部分創作者可以獨立完成視頻的創作,製作時間也縮短至1-2周,能夠更為高效地呈現出自己的創意。

陳欣然認為,創作不應該受限於製作成本、風格或者文化背景。豆包·視頻生成模型的推出,為創作者提供了探索全新未來世界的有力工具。即夢 AI 希望能夠成為創作者們最喜歡和信賴的生成式 AI 工具及內容平台,為所有人提供有趣的、快樂的、自由的創作體驗,以更廣闊的創作空間和靈感啟發,幫助用戶打開連接現實世界和想像世界的大門。

文章來源: https://twgreatdaily.com/zh/bb10522b65ae4f2681f1e4e7a32953b3.html