在6月21日的華為開發者大會(HDC 2024)上,華為雲發布了盤古大模型5.0,其創新的多模態生成能力,可以為自動駕駛領域提供更高質量的數據支持。
華為常務董事、華為雲CEO張平安表示,盤古5.0通過創新的可控時空生成,大規模的生成和實際場景相一致的駕駛視頻數據,有機會重塑自動駕駛的開發。
華為雲盤古大模型5.0可控時空生成技術(STCG),賦予了模型理解並遵循物理規律的能力,這意味著,生成的視頻不僅在視覺上逼真,更重要的是在車輛行為、環境互動等方面與現實情況保持高度同步。例如,車輛在不同攝像頭視角間的平滑過渡,以及在不同天氣和光照條件下行駛的自然表現,都顯示了模型對空間和時間維度精準把握的能力。
通過盤古大模型生成的六攝像頭視角視頻,自動駕駛系統可以直接獲取到全方位、高仿真度的訓練素材。這些視頻涵蓋了從無車街道到複雜多車交互的不同場景,甚至包括不同氣候條件下的行車情況,極大地豐富了訓練數據集的多樣性。尤為值得注意的是,模型在生成雨天視頻時,還能細膩地模擬出車輛尾燈因光線昏暗而開啟的細節,體現了其對真實世界複雜規律的深刻理解和學習能力。
張平安表示:未來,盤古的多模態生成還會支持更多的場景,更好的為自動駕駛服務。
文章來源: https://twgreatdaily.com/zh-sg/205d7f6922d54656541093708ce6a464.html