鳳凰科技 2024-12-12 01:35:08 1
Sora來了,但沒有完全來。在12天連續釋出會活動的第三天,OpenAI正式面向大眾釋出了AI影片大模型Sora Turbo,最高支援生成20秒影片,僅為初次公佈Sora時宣傳時長的三分之一。更離譜的是,不是任何使用者都可以立即體驗Sora Turbo,該應用仍處於小範圍測試階段。
在Sora之前,海外已有AI公司開發出了影片大模型,但直到今年2月Sora首次亮相,影片大模型行業才真正進入黃金髮展期。然而帶動影片大模型快速發展的Sora,卻似乎掉隊了。
不說我們可能較為陌生的海外,僅僅是國內市場,就湧現了不下二十款AI影片大模型,網際網路巨頭騰訊、阿里巴巴、位元組跳動等,更是每一家都推出了AI影片大模型。站在行業的角度,AI影片大模型賦予了大模型理解和重構真實世界的能力,站在使用者的角度,AI影片大模型則給了我們發揮想象力的無限可能。
與面向泛用場景的大語言模型不同,影片大模型的使用場景相對更加專業,因而現階段基本需要付費才能隨心生成影片。免費使用者只能領取系統的積分或每日贈送的次數生成影片,而且可能無法體驗部分高階功能。正因如此,不關注AI大模型的小夥伴可能並不清楚國內有哪些影片大模型。
接下來,小雷就盤點六款目前國內知名度較高的AI大模型,並分析其功能特性,或許未來它們就會成為你手中將想法、靈感轉化為現實的工具。
國產影片大模型搶跑,Sora成了Follower?
國內影片大模型眾多,功能和體驗也有不小的差異,經過數月時間的提升,大多能夠識別人類自然語言,而非依靠限定詞生成內容。這是影片大模型的一小步,卻是網際網路行業的一大步,理解自然語言,才擁有將我們想法或小說中的內容轉化成影像的能力。
至於影片大模型該怎麼選,別急,跟隨小雷一起看看網際網路巨頭們的影片大模型表現如何,或許你的心中就會有答案。
1、可靈:行業先行者,體驗出眾。
訓練影片大模型需要大量影片資源,影片平臺具備先天優勢,Sora釋出後僅4個月,快手科技旗下的AI團隊就推出了影片大模型可靈,如今更是進化到了1.5版本。就小雷的體驗而言,可靈在國內眾多影片大模型中,體驗足以位列前三。
可靈支援文生影片和圖片生成影片(也可以加入文字描述)兩種模式,而且可以調整創意想象力和創意相關性。可靈1.5大模型免費使用者使用文生影片功能,最高可生成5秒高品質影片(1.5版本不支援生成標準品質影片,1.0版本可生成10秒標準品質影片),使用圖生影片功能,則可以生成最高10秒標準品質或5秒高品質影片,且支援運鏡調節。
小雷以“寧靜的海灘,滿月高懸在天空,微風吹動著海邊的椰子樹,發出嘩啦啦的聲音,一隻小貓咪慵懶地躺在沙灘上,舔舐著前腿上的毛髮”為描述語生成了一段影片。具體結果如下,無論是舔舐毛髮還是風吹動椰子樹,細節豐富程度都非常高,唯一較為明顯的漏洞可能在於生成的結果是在白天,而非小雷描述的夜晚。
(圖源:可靈生成)
作為國內最早一批AI影片大模型,可靈的表現極為出色,提供的功能選項較為豐富。期待可靈能夠儘快推出生成影片更長的版本,達到微短劇的要求,幫助微短劇作者創作影片,降低微短劇的製作成本,進而提升可靈的實用價值。
2、即夢:語言解析能力強,可惜缺乏靈動感。
快手推出可靈後,抖音不甘示弱,也推出了影片大模型即夢。
除了文生影片和圖生影片外,即夢還加入了對口型功能,即匯入圖片、影片後,再上傳文字或錄音,即夢便可調整影片。即夢釋出時間雖晚一些,但更新迭代速度極快,至今官網已提供影片1.2、影片2.0、影片2.0 Pro三個版本可用。
需要注意的是,該大模型註冊即送60積分,影片1.2大模型生成4/6/8秒影片分別需要4/6/8積分,影片2.0模型生成5秒鐘影片需要5積分,影片2.0 Pro模型生成影片則需要20積分。
小雷以相同的描述語,使用即夢影片2.0 Pro模型生成了一段影片,質量也相當不錯,小雷描述的場景基本展現了出來。不過這段影片也不算完美,例如貓咪的動作過於單調和僵硬,缺少靈動感,樹葉也沒有隨風而動等。
(圖源:即夢生成)
即夢對於自然語言的理解能力,在小雷看來比可靈還要更高一些,描述語中的元素基本具備,但生成的影片質量略遜於可靈。
3、混元:功能有待豐富,成長空間較大。
說完了快手、抖音兩大短影片巨頭,自然也不能落下騰訊公司。騰訊日前推出了混元影片大模型,並在騰訊元寶App和網頁端上線。
騰訊混元影片大模型現階段僅支援文生影片,每日可免費生成4次標準品質和2次高品質影片。小雷也使用騰訊混元大模型生成了一段影片,太大的月亮造成了虛假感,貓咪舔舐毛髮的動作更是滿滿的違和感,椰子樹距離過遠,細節不夠豐富。
(圖源:混元大模型生成)
或許是因為誕生時間太短,騰訊混元大模型生成的影片質量欠佳,明顯不如可靈和即夢。不過擁有國內網際網路巨頭騰訊作為後盾,相信經過幾次迭代升級後,該大模型生成的影片質量能夠媲美可靈和即夢。
4、Vidu:功能豐富,運鏡自然。
作為北京數生科技與清華大學聯合研發的AI影片大模型,Vidu可能沒有騰訊、位元組跳動那樣強大的財力,但大模型的表現毫不遜色。該模型也推出了1.5版本,支援文生影片和圖生影片,還支援上傳同一主體不同角度的圖片,從而生成更具真實感的立體畫面。需要注意的是,該大模型免費使用者僅能生成720P影片。
在實測中,Vidu生成的影片質量高不下於可靈和即夢,運鏡的自然流暢度比可靈還要強一些。細節方面也非常豐富,海水、椰子樹、風等元素均有展現,仔細看會發現遠處還有身影靠近。唯一的漏洞在於沙灘的質感不足,一般只有剛剛落潮的海灘才會有類似的情況。
(圖源:Vidu生成)
Vidu的表現已相當不錯,開放API,探索商業模式後,大機率可以獲得不少投資,Vidu可以利用這筆投資購買晶片和影片資源。擁有足夠的影片資源用於訓練大模型和算力支援,Vidu才能加快前進的腳步。
5、清影:同具清華血脈,與Vidu有差距。
智譜清言的前身是清華大學計算機系知識工程研究室團隊,與Vidu算得上同出一門,甚至更具正統性。
智譜清言開發的AI影片大模型清影功能極為豐富,支援文生影片和圖生影片,其中文生影片可調節影片風格、情感氛圍、運鏡方式等引數,圖生影片則最高支援16秒4K 60幀影片生成,是小雷體驗過的影片大模型中,生成影片最長的。
然而,清影生成的影片卻令小雷大失所望,別的就不說了,我的貓呢???而且畫面幾乎看不出來這是一段影片,小雷差點以為我生成的是圖片。
(圖源:清影生成)
與同出一門的Vidu相比,清影的問題十分明顯,對於自然語言的理解能力可能存在問題,有待進一步提升。
6、PixVerse:畫面唯美,動作卻很僵硬。
對於愛詩科技,國內普通網友可能比較陌生,但其創始人王長虎曾擔任微軟亞洲研究院主管研究員,後續跳槽到位元組跳動,先後擔任了人工智慧技術總監、視覺技術負責人等職位,主導了位元組跳動視覺大模型的基礎建設工作。
愛詩科技的影片大模型PixVerse功能同樣豐富,支援特效、風格、比例等元素的設定和調整,還能預設角色,生成影片最長為8秒。不過註冊贈送的積分只有90,每日再贈送30積分,生成5秒影片需要30積分,8秒影片則為60積分。
從生成的影片來看,PixVerse的特性與其名字一樣充滿唯美感,畫面色調十分討喜小貓的毛髮細節和背後的水面的波紋都很到位。
(圖源:PixVerse生成)
與即夢相同,PixVerse生成影片的問題也出在貓咪身上,小貓的動作過於刻意,反而出現了僵硬感。瑕不掩瑜,PixVerse的表現非常出色,讓我們看到了愛詩科技的實力。
影片大模型大戰,細節決定成敗
數月時間,國內AI企業在影片大模型領域已邁出了從無到有的關鍵一步,現在正從有到強進發。就小雷的體驗而言,可靈、即夢、Vidu、PixVerse均表現不錯,並列第一梯隊,騰訊混元影片模型位列第二梯隊,清影則位列第三梯隊。
因使用場景、風格要求等細節的不同,影片大模型的輸出結果可能會存在一定的差異,小雷的體驗不能表現出這些影片大模型的全部實力。
即便是表現較好的大模型,在細節方面也存在一定的漏洞,除了上文頻頻提到的貓咪動作僵硬問題,還有一個非常明顯且普遍的情況,即沙灘的沙子不會因為貓咪的動作而流動。AI影片大模型雖在不斷升級迭代,並取得了不菲的成果,但細節方面依然有不少進步的空間。
(圖源:豆包AI生成)
AI影片大模型的升級重點圍繞自然語言解析能力、畫面細節打磨和運鏡、時長三大方面,這三大核心因素也決定了AI影片大模型未來能夠取得的成果。唯有能夠理解人類自然語言,才能真正讓每一個人都能利用AI影片大模型盡情釋放想象力,畫面和運鏡的升級可以提高影片質量,時長足夠的前提下,AI影片大模型方能成為使用者手中創作微短影片的助手。
另外,儘管AI影片大模型普遍採用收費方案,但價格過於昂貴,以至於付費使用者有限,再加上訓練成本和推理成本居高不下,大多數AI影片大模型公司的處境並不樂觀。主攻影片生成領域的AI公司,要麼與B端客戶聯合,針對定製場景打造專屬版本,要麼就要加速升級迭代,滿足C端使用者的需求,尋找盈利點。
近期亞馬遜雲科技、谷歌、OpenAI等企業相繼釋出了AI影片大模型,預計明年還會有更多AI公司推出影片大模型,整個行業的競爭將愈發激烈。這些已走在前面的企業,應當儘快利用自身優勢創造盈利點,避免在更卷的環境中被淘汰。