Runway 和 Kling 五輪激戰,誰是 AI 視頻霸主

跑道和克林是當今可用的兩個最好的人工智能模型。有可能OpenAI 的索拉能勝過它們,但由於其未廣泛可用,我無法進行比較。

爲了找出這兩者中哪一個是最好的,我在一系列挑戰中對跑道和克林進行了測試,涵蓋複雜的相機運動、宏觀人體運動和難以渲染的場景。

跑道在探索模式中每月 95 美元包含無限的視頻生成。克林的高級計劃每月 92 美元,包含 8000 個積分。10 秒的生成需要 70 個積分。在性能方面,跑道往往比克林快很多,尤其是在您切換到渦輪模式的情況下。但是使用無限計劃時,您同時只能進行兩個生成。

總的來說,跑道和克林在可用功能和性能方面大致相當。有一些功能,比如僅克林具備的運動畫筆和跑道獨有的視頻轉視頻,但它們在功能上大致相等 - 所以歸結爲視頻生成。兩者都在我的最佳 AI 視頻生成器列表中。

以下是我們的跑道與克林比較的結果。

任何對視覺或創意事物的測試都會是主觀的,但這並不意味着我們不能對這個過程進行科學處理。我想出了一個規則,檢查良好和逼真的 AI 視頻所需的能力。每個類別最多可得 10 分。

其中一些是人工智能傳統上難以處理的領域,例如準確的人體運動或視覺一致性。其他方面,例如提示遵守情況因模型而異,但這也是我只進行文本到視頻的原因,因爲它需要人工智能更多的控制。

測試兩個非常不同的 AI 視頻模型並不像只是給它們相同的提示並比較輸出那麼簡單。這是進行測試的一種方式,但它沒有給每個模型展示其最佳表現的機會。

爲了更好地瞭解它們在類似任務上的比較情況,我在五個測試中的每一個都使用了克林和跑道的提示指南來完善自定義提示。這些傳達了相同的想法,是公平的,但針對每個模型進行了定製。

我在 Kling 以及正常的 Gen-3 Alpha(非渦輪增壓模式)中,以專業模式進行了所有測試,時長均爲 10 秒鐘,測試在 Runway 中開展,而其他所有設置均保持默認。

首先,我們來看看每個模型在捕捉逼真的車輛運動並將其融入動態環境這方面表現得怎麼樣。我期望跑車能夠向前行駛,相機保持靜止,並且符合照明要求。

Runway

Runway 提示:“低角度靜態拍攝:一輛時尚的跑車沿着蜿蜒的沿海公路疾馳。汽車動態行駛,緊貼道路彎道。電影照明,傍晚黃金時段。當汽車接近並通過時,相機保持固定。”

Kling

Kling 提示:“一輛時尚的跑車沿着蜿蜒的沿海公路疾馳。車輛動態行駛,緊貼彎道。傍晚黃金時段照明。相機:靜態低角度拍攝,當汽車接近並通過時固定位置。”

對於第二項測試,我們會讓每個模型在社交環境中渲染出一個人物。重點在於面部表情和手勢,不過我還會觀察他們與環境互動的情況,以及人物的手指數量對不對。

我也沒指定性別,來看看模型會怎麼發展。我懷疑“動畫”這個詞也會把他們難住,而且我們沒法得到逼真的視圖,因爲這會覆蓋掉智能手機拍攝的元素。

跑道

關於跑道的提示:“中近景的跟蹤拍攝鏡頭:一個人坐在熙熙攘攘的咖啡店裡,正進行着生動的交談。相機緩慢地從左向右平移,展現出更多充滿活力的咖啡館環境。柔和溫暖的燈光,自然、紀錄片風格的移動方式。”

克林

克林提示:“通過智能手機拍攝的鏡頭,一個人坐在熙熙攘攘的咖啡店裡,正進行着生動的交談。柔和、溫暖的燈光突出了充滿活力的咖啡館環境。相機移動:從左到右緩慢平移,中近景跟蹤鏡頭。自然、紀錄片風格。”

自從跑道的第一個版本以來,我在每個模型上都嘗試過的一個測試是看看它如何處理火箭的發射。這是一個有趣的測試,因爲它要求模型捕捉滾滾的煙霧、升空的動作,並將其安排在 10 秒的剪輯之中。

跑道

關於跑道的提示:“從廣角的定場鏡頭過渡至動態鏡頭:發射臺上的一枚巨大火箭,發動機點火,火焰強烈,煙霧滾滾。相機開始靜止,然後隨着火箭升空戲劇性地向後和向上拉,展現出發射場的規模。火箭火焰與周圍區域之間強烈的照明對比。”

克林

克林提示:“一枚巨大的火箭置於發射臺上,引擎點火,產生濃烈的火焰和煙霧。火箭起飛,從而展現出了發射場的規模。鏡頭移動方式:先從靜態廣角鏡頭開始,接着隨着火箭上升大幅度向後和向上拉伸。”

在這倒數第二個測試裡,我想瞧瞧模型怎樣處理快速運動以及自然環境的複雜性。它得穿過雨林的樹冠層,然後過渡到下層植被場景。對此,我可不抱太大希望。

跑道

跑道提示:“連續的超高速 FPV 鏡頭:相機無縫地飛越一片鬱鬱蔥蔥的雨林,在高聳的樹木之間穿梭。陽光透過樹冠進行過濾,在森林地面上形成了斑駁的光影。場景從茂密的下層植被過渡到一個隱匿的瀑布,水滴在慢動作中閃閃發亮。”

克林

克林提示:“一片鬱鬱蔥蔥的雨林,有高聳的樹木。陽光透過樹冠過濾,在森林地面上形成斑駁的光影。場景從茂密的下層植被過渡到一個隱藏的瀑布,水滴閃閃發光。鏡頭移動:連續超高速 FPV,在樹木之間穿梭,以慢動作效果在瀑布處結束。”

最後,我想瞅瞅模型怎麼處理一個抽象概念。在這兒,它們得展示一顆種子變成一棵樹,並且在一個鏡頭裡需要不同的視角。

跑道

關於跑道的提示:“從宏觀電影攝影過渡到廣角:種子發芽並長成參天大樹的延時攝影。相機從種子的極近距離開拍,然後逐漸拉遠,以展示其完整的生命週期。場景從土壤轉變爲廣闊的森林。漫射光從冷色調演變爲暖色調,隨着樹木的成熟。”

克林

關於克林的提示:“生長過程的延時可視化:種子發芽並發展成參天大樹。場景從土壤轉變爲廣闊的森林,代表生長的概念。隨着樹木的成熟,光線從冷色調演變爲暖色調。相機運動:從種子的極端微距拍攝開始,逐漸拉遠以展示完整的生命週期和周圍的森林。”

每次測試的分數在很大程度上是主觀的,基於最初的反應以及一天後查看時的再次思考。例如,在車輛測試中,我本能地輕鬆判定克林獲勝,但再次查看時,發現差距小了很多。

我將克林和跑道針對準則的每個元素的分數相加,然後將每次測試的分數相加得出總分。

這是兩個模型之間一場非常接近的競賽,在任何測試中,兩者都沒有完美地表現出色或發揮出最佳能力。有一些出色的時刻,例如克林的火箭發射或跑道的樹木,但沒有哪個視頻能整體獲勝衝過終點線。

這表明,如果您進行正確的提示,並使用爲每個 AI 視頻生成器所提供的指南,您可以從每個中獲得更好的響應,甚至使機會均等。也值得第二天回去再看一看。