來自中國的尖端文字轉影片 AI 顛覆了行業

中國人工智能公司上書科技與清華大學合作推出的文本到AI視頻模型「Vidu」最近引起了廣泛關注。這個模型能夠單擊生成1080p高清16秒視頻,直接與OpenAI的Sora文本到視頻模型競爭。

Vidu的能力在於可以理解和生成中國特有的內容,如熊貓和龍,這使其與競爭對手有所區別。演示展示了Vidu的出色能力,清楚地表明中國在人工智能領域一直在穩步提升。

雖然有人可能會認為這些演示是挑選出來的,但我們必須認識到視頻生成面臨的固有挑戰。Vidu的表現,特別是在時間一致性和運動方面,都是一個重大成就,超越了目前可免費獲得的最先進模型。

與OpenAI的Sora和Runway的Generation 2模型的比較突出了Vidu的優勢。該模型保持一致運動、真實的波浪模式和動態元素的無縫集成的能力,展示了其先進的功能。

此外,Vidu和Sora的架構差異,Vidu採用通用視覺變換器(UViT)架構,表明中國團隊採取了獨特的方法來解決文本到視頻生成的挑戰。

總的來說,Vidu的出現是中國在人工智能領域實力不斷增強的明確跡象。這一突破很可能會加劇中美之間的人工智能競賽,因為兩國都努力保持其技術優勢。Vidu未來的部署和進步將受到密切關注,因為它有望重塑文本到視頻生成的格局。

上書科技和清華大學開發的中國首個文本到AI視頻模型Vidu的最新發布引起了極大興趣和討論。儘管有人批評生成視頻的質量,但仔細檢查顯示Vidu的能力相當出色,特別是在時間一致性和運動保真度方面。

將Vidu的表現與最先進的Sora文本到視頻模型進行比較,可以清楚地看出Vidu取得了重大進步。Vidu演示中觀察到的運動和時間一致性,如裙子的移動、外套的擺動以及波浪的真實行為,明顯優於目前Runway Gen 2等模型。

此外,Vidu和Sora的架構差異也值得注意。Vidu使用通用視覺變換器(UViT)架構,這在Sora使用的擴散變換器之前就已提出。這種獨特的方法使Vidu能夠創造出具有動態攝像頭運動、細緻的面部表情和遵循光照和陰影等物理世界屬性的逼真視頻。

儘管共享視頻片段的質量可能受到反復下載和壓縮的影響,但Vidu的基本能力仍然令人印象深刻。在示例中展示的時間一致性和運動保真度,特別是電視機的移動和背景元素的穩定性,都表明Vidu在文本到視頻生成領域取得了重大進步。

我們必須認識到這個領域的快速進步,Sora和Vidu等模型正在推動著什麼是可能的邊界。隨著人工智能文本到視頻領域的競爭加劇,我們將看到這些技術在未來如何發展和部署,這將是一件非常有趣的事情。

Vidu,由上書科技和清華大學開發的文本到視頻AI模型,採用了一種獨特的架構,使其與現有模型有所不同。Vidu架構的關鍵特點及其優勢如下:

1. 通用視覺變換器(UViT):Vidu的架構基於通用視覺變換器(UViT),該架構早在2022年9月就已提出,比Sora使用的擴散變換器架構更早。這種獨特的架構使Vidu能夠創造出具有動態攝像頭運動、細緻的面部表情和遵循光照和陰影等物理世界屬性的逼真視頻。

2. 時間一致性:Vidu的一大亮點是其在生成視頻方面保持時間一致性的能力。與Runway Gen 2等其他最先進模型相比,Vidu在水、波浪和電視等物體的運動和移動方面表現更出色。這些元素運動的一致性證明了Vidu的先進功能。

3. 超越現有模型:儘管尚未公開發布,但Vidu在演示中展示的性能已經超越了目前文本到視頻生成領域的最高水平。與Sora和Runway Gen 2相比,Vidu生成的視頻在細節、真實感和時間一致性方面都有更高的表現,表明它有望成為文本到視頻生成領域的顛覆性技術。

4. 架構優勢:Vidu獨特的架構,比Sora使用的擴散變換器更早,使其能夠創造出具有動態攝像頭運動、細緻的面部表情和遵循物理世界屬性的視頻。這表明Vidu的方法可能在靈活性和適應性方面優於現有模型。

總之,Vidu創新的架構、展示的能力以及超越當前最先進模型的潛力,使其成為文本到視頻生成領域的重大發展。隨著技術的不斷進步,我們將看到Vidu和其他新興模型如何塑造這個快速發展領域的未來。

中國最近推出的最先進文本到視頻AI模型VidU,由上書科技和清華大學開發,在人工智能界引起了轟動。這個模型能夠單擊生成高清16秒視頻,與OpenAI的Whisper媲美,清楚地表明中國在人工智能領域的迅速進步。

VidU演示展示了出色的時間一致性、逼真的運動和對物理世界屬性如光照和陰影的關注。雖然質量可能無法與Whisper的當前產品相媲美,但這仍然是一項了不起的成就,尤其是考慮到VidU獨特的架構早於Whisper使用的擴散變換器。

與Runway的Gen 2等其他最先進的視頻生成模型相比,VidU的表現在動態攝像頭運動、細緻的面部表情和遵循物理世界約束方面明顯優於其他模型。這突出了中國在人工智能領域取得的快速進步,超越了僅僅一年前被認為是最先進的模型。

這一技術突破的影響是重大的。它表明中國不僅在人工智能發展方面趕上了西方,而且可能在某些領域已經超越了它們。這引發了關於人工智能競賽未來走向的問題,美國和其他國家將如何應對中國的進步。

人工智能競賽很可能會加劇,兩國都在努力推動這個領域的邊界。這種競爭可能會加速創新和突破,但也引發了關於這些強大技術的倫理影響和潛在濫用的擔憂。

當世界關注這場人工智能競賽的發展時,決策者、研究人員和公眾必須進行深思熟慮的討論,以負責任的方式發展和部署這些變革性技術。人工智能的未來無疑將塑造全球格局,而這場競賽的結果可能會對世界產生深遠的影響。