揭秘文字生成影像AI:Sora

「如何把積木放進盒子裡」
19/02/2024
43840
收藏
分享
「如何把積木放進盒子裡」
「如何把積木放進盒子裡」

OpenAI 宣布推出名為「Sora」自動生成式人工智能技術,能夠將文本轉化為長達一分鐘的影片。(網絡圖片)

OpenAI推出的Sora,被視為人工智能模擬現實世界模型的基礎。(美聯社圖片)

人工智能大廠OpenAI 宣布推出名為「Sora」(日文中的「天空」)的自動生成式人工智能技術,標榜能以單純文字 描述或靜態圖像,即可生成長達一分鐘的1080P解析度影片 。「Sora」的推出立刻佔據媒體版面,連一向唱衰OpenAI的馬斯克,都不吝盛讚「Sora」強大。從文字生成影像大場面,「Sora」究竟是如何做到的呢?

根據介紹,Sora除了可自動生成影片內容,更可對應不同呈現風格,並且詮釋不同角色、動作或背景內容,而影片內容更標榜能維持在一定合理表現,更可讓影片內容細節變得更加真實。

「Sora 」透過長達10,000小時的高品質影片進行訓練,本身基於先前推出的GPT、DALL-E等服務模型 研究成果打造,讓使用者能透過文字描述、靜態圖片快速生成逼真的影片內容。

不過,即便OpenAI強調「Sora」自動產生影片有高度真實性與合理性,但仍有部分細節難以完整重現,因此仔細觀看的話,可能還是可以看出一些破綻。

視覺塊嵌入代碼

OpenAI 公開 Sora 的詳細報告,介紹了技術原理和應用。受LLM(大語言模型)成功經驗啟發,OpenAI引入視覺塊嵌入代碼(patches),這是種高度可擴展且有效的視覺數據表現形式,大大提升生成模型處理多樣化影片和圖片資料的能力。

OpenAI 先將影片數據壓縮至低維潛在空間,然後再分解為時空嵌入,轉成一系列編碼塊,之後訓練專門降低視覺數據維度的網路,以原始影片輸入,輸出產生一個時間和空間都經過壓縮的潛在空間,Sora正是在這個壓縮後潛在空間訓練,並在這空間產生影片。

OpenAI 還訓練一套解碼器模型,能將潛在表徵還原成圖元級影像。處理壓縮後影像輸入,研究員能提取出一系列時空patchs,在模型扮演類似 Transformer Tokens 的角色。基於patchs的表現形式,Sora能適應不同解析度、持續時間及寬高比影像,產生新內容時,可將隨機初始化patchs照需要大小排成網格,控制最終影片大小和形式。

把積木放進盒子裡

簡單來說,OpenAI開發出的新技術:視覺塊嵌入代碼(簡稱視覺塊),就像將一堆雜亂無章的積木整理好放入小盒子,如此即便面對再多積木,只要找到所屬小盒子,就能輕鬆找到所需積木。影片數據轉化成一個個小方塊,當 OpenAI給Sora新任務時,先從影片提取含時間和空間資訊的小方塊,之後將小方塊交給Sora根據資訊產生新影片,就像拼拼圖將影片重新組合。這樣做的好處是,計算機可更快學習和處理各種類型圖片和影片。

打造世界模型的里程碑

目前OpenAI尚未全面對外開放Sora,僅先以預覽形式提供,並且暫時只有開放特定及OpenAI合作對象使用,同時也透過與外部業者合作,藉由紅對對抗方式評估此服務是否有潛在風險,甚至開放部分藝術家、設計人員與電影製作人使用,藉此改善Sora可能存在問題,另外更與全球政策制定者、教育學者等交流,藉此評估此服務是否會被濫用。

OpenAI將Sora視為「理解和模擬現實世界模型的基礎」,相信能力「是實現 AGI的重要里程碑」,輝達高級科學家Jim Fan表示:「如果你認為OpenAI Sora就像 DALL.E,只是創意實驗工具,那你可能要重新考慮了。」

Sora其實是基於資訊的物理模擬引擎,能類比真實或虛擬世界。模擬器經降噪、計算梯度,學會複雜圖像渲染、「直覺」物理行為、長遠規劃能力及語義層面理解等。這種模型能力,是打造「世界模型」的基礎。

檢舉
檢舉類型:
具體描述:
提交
取消
評論
發佈

力報會員可享用評論功能

註冊 / 登錄

查看更多評論
收藏
分享

相關新聞

推薦新聞

找不到相關內容

七日預報