Sora模型詳解和應(yīng)用探討
發(fā)布日期：2024/2/22 15:48:06 瀏覽量：
1. Sora模型開創(chuàng)AI視頻創(chuàng)新紀(jì)元
Sora模型，由OpenAI首度推出的基于大規(guī)模多模態(tài)數(shù)據(jù)訓(xùn)練的微生物視頻生成模型，以其顯著超越同
類技術(shù)的視頻生成能力而引人注目。該模型突破性地實現(xiàn)了平均60秒的高質(zhì)量視頻生成，遠(yuǎn)超過當(dāng)前
業(yè)界普遍的4秒標(biāo)準(zhǔn)。
在技術(shù)架構(gòu)上，Sora模型巧妙融合了GPT系列模型對長文本連貫性的把控力和先進(jìn)的圖像控制技術(shù)，
確保了生成視頻畫面的一致性和精準(zhǔn)調(diào)控。值得一提的是，得益于其大規(guī)模訓(xùn)練與強(qiáng)大的計算資源支
撐，Sora模型自發(fā)涌現(xiàn)出了三維深度等未專門訓(xùn)練的能力。
對于創(chuàng)業(yè)者而言，模型參數(shù)規(guī)模及計算投入是重要因素：盡管30億參數(shù)級別理論上意味著較小的數(shù)據(jù)
集和算力要求即可復(fù)現(xiàn)實驗效果，有利于資源有限的初創(chuàng)企業(yè)和開源社區(qū)探索應(yīng)用，但實際部署時參
數(shù)規(guī)模及訓(xùn)練條件或更為嚴(yán)苛，并非全然利好消息。
而在服務(wù)提供者視角，推理成本尤為重要：以當(dāng)前信息，Sora模型每生成4秒視頻可能需要1分鐘A100
級別的推理計算時間，導(dǎo)致高昂的成本且隨著并發(fā)請求增加呈指數(shù)級上升，這無疑加大了B端應(yīng)用的成
本負(fù)擔(dān)。然而長期來看，尤其是中低端推理算力市場的成熟足以滿足大部分需求，整體成本有望得到
控制。
部分表述如“紋身視頻”、“可以算力”可能存在轉(zhuǎn)譯誤差，需進(jìn)一步核實澄清。
預(yù)計至2025年，AI將生成全球20%的數(shù)據(jù)內(nèi)容，涵蓋文本、圖片及視頻領(lǐng)域，對內(nèi)容產(chǎn)業(yè)產(chǎn)生深遠(yuǎn)影
響。屆時，信息流平臺格局可能發(fā)生劇變，推薦算法的重要性或許減弱，用戶可直接通過AI生成個性
化內(nèi)容；Adobe等傳統(tǒng)工具開發(fā)商也將面臨挑戰(zhàn)，或?qū)⒎e極研發(fā)自有AI模型或?qū)で笈c大模型廠商合作來
適應(yīng)新興的AIDC（AI驅(qū)動創(chuàng)作）趨勢。
Sora模型的核心優(yōu)勢在于其作為視覺導(dǎo)向的DRG模型，不同于傳統(tǒng)的語言模型，它借助GPT實現(xiàn)語義
理解并專注于特定場景應(yīng)用，從而區(qū)別于諸如Pika、Runway等多模態(tài)模型。盡管采用了類似
Transformers的部分算法，其在視頻生成的控制能力和支持多機(jī)位視角的獨特性尤為突出。
技術(shù)發(fā)展路徑方面，Sora結(jié)合了Transformers算法以強(qiáng)化視頻連續(xù)性，并運用空間壓縮技術(shù)進(jìn)行創(chuàng)
新。創(chuàng)始人強(qiáng)調(diào)，雖然其中許多技術(shù)并非全新，但其整合方式預(yù)示著Transformers在未來技術(shù)發(fā)展中
占據(jù)關(guān)鍵地位。
商業(yè)模式方面，目前主要采用基于算力消耗的計費模式，無論是會員訂閱還是按使用時長收費，均圍
繞算力成本設(shè)定利潤空間。未來市場主流預(yù)計仍將以算力為基礎(chǔ)，反映出市場趨勢與成本管理策略。
從用戶側(cè)需求看，C端用戶無需配備高端硬件設(shè)備，云端推理能力能夠滿足日常需求，供應(yīng)商負(fù)責(zé)提供
充足的算力資源，針對高并發(fā)情況可能會采用阿里云等云計算平臺補(bǔ)充。
展望未來，若像Sora這樣的模型廣泛應(yīng)用于內(nèi)容生成領(lǐng)域，算力需求可能呈現(xiàn)指數(shù)級增長。至于是否
能通過迭代實現(xiàn)更長時間段的視頻生成尚待觀察。
國內(nèi)市場方面，抖音母公司的字節(jié)跳動憑借在視頻內(nèi)容領(lǐng)域的深厚積累和快速發(fā)展的團(tuán)隊實力，極有
可能在AI驅(qū)動的視頻生成賽道取得突破性進(jìn)展。
6. 深入剖析Sora模型及其行業(yè)應(yīng)用前景
技術(shù)壁壘方面，盡管Sora模型具有先進(jìn)性，但隨著時間和足夠的算力投入，其他廠商也有可能實現(xiàn)相
似的技術(shù)成果。OpenAI的研究報告指出，在達(dá)到一定規(guī)模后，此類模型往往會帶來新的發(fā)現(xiàn)，揭示出
技術(shù)具備一定的可復(fù)制性。
在國內(nèi)市場，人才儲備、數(shù)據(jù)資源以及算力是提升AI能力的三大基石，尤其是引進(jìn)海外人才是中國加
快AI產(chǎn)業(yè)發(fā)展的重要潛在優(yōu)勢。
成本與市場化進(jìn)程：盡管當(dāng)前Sora模型的總體成本較高，商業(yè)化的具體時間點難以精確預(yù)見，但參照
先前產(chǎn)品從發(fā)布到市場落地的時間周期，預(yù)計一兩個月后就有望開啟商業(yè)化嘗試。
與此同時，AI技術(shù)的發(fā)展將面臨一系列問題，首要任務(wù)是對抗虛假信息傳播，例如通過紅隊測試等方
式提高識別和應(yīng)對能力。解決虛假信息及不適宜內(nèi)容的技術(shù)難題，將是推進(jìn)商業(yè)化進(jìn)程的關(guān)鍵環(huán)節(jié)。
此外，數(shù)據(jù)安全與隱私保護(hù)、生成內(nèi)容的版權(quán)歸屬與保護(hù)，以及責(zé)任劃分等問題同樣是AI行業(yè)發(fā)展過
程中亟待解決的重大挑戰(zhàn)。
Q：Sora模型在宏觀層面上有哪些影響？
A：從宏觀層面來看，Gartner預(yù)測到2025年，人類生產(chǎn)的數(shù)據(jù)中將有20%源自AI。這意味著不僅文字
內(nèi)容，甚至圖片和視頻內(nèi)容將有很大比例是由AI生成，這將對內(nèi)容行業(yè)乃至多種產(chǎn)業(yè)造成影響。
Q：在中觀層面上，Sora模型對信息流平臺和專業(yè)工具有哪些潛在影響？
A：信息流平臺如抖音、小紅書等未來可能會因為AIGC技術(shù)應(yīng)用的普及而發(fā)生變化，不再依賴于算法
推薦，而是能夠根據(jù)用戶需求生成內(nèi)容；專業(yè)工具如Photoshop可能需要適應(yīng)AIDC生產(chǎn)工具帶來的挑
戰(zhàn)，Adobe已經(jīng)在嘗試嵌入訓(xùn)練有素的AI模型以增強(qiáng)Photoshop的功能。這些變化表明，傳統(tǒng)內(nèi)容生成
和編輯的方式可能會被AI能力的直接生成所取代。
Q：從長遠(yuǎn)角度看，大模型生態(tài)系統(tǒng)可能如何發(fā)展？
A：預(yù)期未來會有基于大模型的生態(tài)系統(tǒng)形成。類似微信小程序在微信生態(tài)中的角色，GPT和其他大型
模型可能也將支持各種插件應(yīng)用，幫助解決生成內(nèi)容中的各種問題，例如幻覺問題等。內(nèi)容產(chǎn)業(yè)也可
能因為這種技術(shù)變革而迎來商業(yè)層面的更迭，如宣傳片和電影產(chǎn)業(yè)的改變。
Q：在應(yīng)用層面，哪些行業(yè)可能會受到Sora模型影響？
A：若Sora模型的3D和深度學(xué)習(xí)能力得以增強(qiáng)和廣泛應(yīng)用，游戲產(chǎn)業(yè)和自動駕駛產(chǎn)業(yè)可能會受到重大
影響。游戲行業(yè)可利用其生成精美地圖的功能，而自動駕駛領(lǐng)域可能會因Sora模型理解視頻和視覺內(nèi)
容的能力得到提升而產(chǎn)生顛覆性的影響。
Q：對內(nèi)容從業(yè)者來說，Sora模型可能帶來哪些變化？
A：在更具體的層面，內(nèi)容從業(yè)者可能會面臨技能需求和工作流程的變化，因為AI的介入將改變內(nèi)容的
生產(chǎn)和編輯方式。
Q：索爾模型相比其他模型，如GPT1.5，有什么獨特之處？其技術(shù)細(xì)節(jié)和控制能力有何不同？
A：與GPT1.5相比，索爾模型是一個視覺模型，它是依賴于GPT來加強(qiáng)對文本的理解的，因此它更像
是偏科選手，兩者的擅長點并不相同。此外，索爾模型在技術(shù)細(xì)節(jié)上有其獨特性，比如它結(jié)合了
transformer算法來增強(qiáng)視頻的一致性，雖然其他模型也可能具備相關(guān)能力，但索爾模型在某些方面表
現(xiàn)得更強(qiáng)。與GPT1.5類似，索爾模型也具備多模態(tài)識別能力和更長的上下文理解。
Q：索爾模型的技術(shù)路線是否會成為其他大模型需要追隨的方向？
A：索爾模型及其技術(shù)并非全新獨創(chuàng)，許多技術(shù)是現(xiàn)有技術(shù)的變種。如果技術(shù)報告中的內(nèi)容如實，且因
為它的訓(xùn)練過程和具體參數(shù)未公布，很可能很快會有其他模型復(fù)現(xiàn)相似的能力。故而，索爾的技術(shù)路
線只是眾多選擇中的一種，其他大模型廠是否追趕這種技術(shù)路徑，取決于其各自的技術(shù)方向和商業(yè)決
策。
Q：索爾模型的商業(yè)模式會采取什么樣的收費方式？
A：索爾模型的商業(yè)模式主要還是基于算力收費。無論是會員費還是時長收費，其本質(zhì)上都是根據(jù)使用
的算例、時長和所使用的硬件（比如3090顯卡）來定價?？紤]到內(nèi)容生產(chǎn)的第一成本是遞增的，尤其
是在高并發(fā)情況下，算力成為了最后的定價基礎(chǔ)，加上一定的利潤空間作為收費標(biāo)準(zhǔn)。未來的主要商
業(yè)模式預(yù)期將延續(xù)通過算力收費，這不僅適用于視頻和圖像產(chǎn)生，同樣適用于語言模型。
Q：關(guān)于模型訓(xùn)練過程中的算力估算，可以詳細(xì)說明一下估算的過程和理論依據(jù)嗎？
A：在估算索爾模型訓(xùn)練所需算力時，我們首先考慮了所需的數(shù)據(jù)量，并以YouTube為基礎(chǔ)進(jìn)行了類比
推測，假定其有充足的優(yōu)質(zhì)數(shù)據(jù)供訓(xùn)練使用。我們推測索爾模型的訓(xùn)練數(shù)據(jù)量是GPT-4的2到4倍。由
于GPT-4披露的訓(xùn)練量是25,000張A100顯卡使用3個月的數(shù)據(jù)，我們據(jù)此推算索爾模型可能使用了類似
規(guī)模的算力，再考慮到AC100相比A100有三倍的算力提升，我們得出了所需算力的大致量級。這個推
測是基于專家投票結(jié)果，并結(jié)合了對算法訓(xùn)練時間的合理推斷。簡而言之，估算過程有一定的不確定
性，但大體反映了行業(yè)內(nèi)專家的共識。
Q：如果我們未來想在C端場景下實現(xiàn)自動生成的算力，比如自動生成視頻效果，需要C端用戶自己購
買高配置電腦嗎？還是都在云端完成？
A：供應(yīng)商一般會購買大量算力來提供服務(wù)，同時使用阿里云等云服務(wù)作為補(bǔ)充。所以，在推理側(cè)，大
多數(shù)情況供應(yīng)商會提供所需算力，顧客通常不需要購買高配置電腦。這是因為使用云服務(wù)進(jìn)行視頻生
成在推理上比較靈活且技術(shù)成熟。
Q：Sora模型在推理側(cè)對未來算力需求有預(yù)測嗎？
A：我們現(xiàn)在為300萬用戶提供服務(wù)，大約用2000多張卡產(chǎn)生圖像。如果需要大力度增加服務(wù)，比如提
供長視頻內(nèi)容，可能要將現(xiàn)有的算力增加15倍，這是基于使用優(yōu)質(zhì)的Sora模型，前提是用戶都愿意使
用它來生成內(nèi)容。
Q：你們的模型是否會迭代來生成更長的視頻，比如半小時或一小時級別的視頻？如果模型迭代，是否
意味著算力需求會指數(shù)級增長？
A：目前，能生成一分鐘的視頻就已滿足了短視頻時代的需求。不過，如果算力問題得以解決，模型潛
力很大，未來理論上可以生成更長的視頻。OpenAI所使用的transformer模型擅長處理長距離的關(guān)系，
如果訓(xùn)練數(shù)據(jù)量增加，模型完全有潛力做到這點。但是否會朝這個方向迭代，目前還無法肯定。
Q：國內(nèi)哪個大廠在文生視頻這塊可能走得更快一些？
A：抖音可能會走得更快。字節(jié)跳動有收購剪映、招募AI人才等動作，已在AI領(lǐng)域取得不錯的成果。另
外，抖音擁有豐富的數(shù)據(jù)素材和充足的算力資源，如果他們把文生成視頻作為重點發(fā)展方向，有可能
表現(xiàn)出色。在語言模型和多模態(tài)領(lǐng)域，抖音也有很好的表現(xiàn)。其他公司也各有所長，但首先想到的是
抖音。
Q：索爾（Sora）模型在技術(shù)上沒有什么特別的，是否意味著只要算力足夠，其他廠商或國內(nèi)廠商也
能做出類似的效果？
A：OpenAI的Sora模型并沒有使用非常獨特的技術(shù)。很多人曾預(yù)測，從發(fā)展的角度看，OpenAI的技術(shù)
在一段時間后能被追趕上。例如，當(dāng)CPT3.5推出后，人們預(yù)計其它廠商需要多久時間能趕上?，F(xiàn)在，
我們可以看到很多廠商已經(jīng)趕上了DB3.5。OpenAI在其報告中謙遜地使用了大量的“wefind”，表明他們
在探索過程中發(fā)現(xiàn)了模型當(dāng)達(dá)到一定的參數(shù)量級和訓(xùn)練量后呈現(xiàn)出的特點。所以從技術(shù)的復(fù)現(xiàn)角度，
這是一個時間問題。同時，由于其使用了年輕團(tuán)隊已經(jīng)熟悉的訓(xùn)練方法，實現(xiàn)起來其實是可行的。不
過，即使技術(shù)框架相同，復(fù)現(xiàn)效果可能仍有差距，因為OpenAI建立了一些技術(shù)壁壘。例如，它在圖像
控制表達(dá)能力上結(jié)合了DALL·E和GPT-4的能力，如果其它廠商沒有相應(yīng)的圖像和語言模型能力，即便
在技術(shù)上匹配，也可能會有所差距。人才、數(shù)據(jù)和算力是三大壁壘。在算力方面，盡管算力是一大壁
壘，但對于大廠來說這并不是問題，他們已經(jīng)積累了大量的高端算力資源。國內(nèi)大廠在數(shù)據(jù)層面也不
落后。人才方面則主要受環(huán)境影響。OpenAI的一些參考論文有很多華人作者，但大部分都在海外。如
果國內(nèi)能有更多優(yōu)秀人才，國內(nèi)的發(fā)展也會加速。
Q：Sora模型在視頻內(nèi)容創(chuàng)建方面的應(yīng)用會完全取代人工視頻剪輯嗎？
A：Sora展示了強(qiáng)大的控制性，如果某些細(xì)節(jié)不滿意，可以通過抽幀再生成，直到達(dá)到滿意的效果。但
人的創(chuàng)造力在這一過程中仍然至關(guān)重要。使用AI生成工具的專業(yè)人員和初學(xué)者在描述審美和質(zhì)量上會
有很大差異。有審美的人仍能創(chuàng)造出更美的東西。OpenAI在視頻剪輯中的應(yīng)用表現(xiàn)出專業(yè)性不足，如
果由專業(yè)人類操作，可以更自然、更高效地處理。因此，人的創(chuàng)造力和對審美的理解在AI輔助下的創(chuàng)
造活動中依然發(fā)揮著關(guān)鍵作用。
Q：自動駕駛技術(shù)發(fā)展方面，是不是已經(jīng)完全轉(zhuǎn)向視覺系統(tǒng)占據(jù)絕對優(yōu)勢了？
A：目前自動駕駛的技術(shù)發(fā)展確實看到了視覺系統(tǒng)的顯著優(yōu)勢。特斯拉的ElonMusk也沒有預(yù)料到Sora
這樣的技術(shù)會涌現(xiàn)。因為通過視覺系統(tǒng)可以識別出深度信息，OpenAI的Sora可能已經(jīng)學(xué)習(xí)了街景地圖
等包含三維深度信息的數(shù)據(jù)。這意味著它可以更精準(zhǔn)地理解和識別世界的深度。因此，加上理解能力
的提升，自動駕駛可能就只是一個小挑戰(zhàn)。從長遠(yuǎn)來看，如若AI能夠更準(zhǔn)確地模擬三維世界，自動駕
駛只是其潛在應(yīng)用之一，未來可能會對多個領(lǐng)域產(chǎn)生影響。
Q：聽下來發(fā)展目前的成本還是比較高昂，請問您能否對未來的商業(yè)化時間節(jié)奏做一個預(yù)測？Sora模
型的商業(yè)化，像現(xiàn)在的ChatGPT一樣，開始向廣大客戶提供服務(wù)的時間大概是什么時候？
A：關(guān)于Sora模型的商業(yè)化時間，不太好估計。以往的情況來看，達(dá)利模型從發(fā)布到用戶體驗大概用了
一個月。目前Sora模型已經(jīng)在進(jìn)行紅隊測試，如果按照過去的節(jié)奏，可能也是一兩個月時間內(nèi)就可以
進(jìn)行商業(yè)化。當(dāng)然，可能會有幾輪內(nèi)測后再逐步推廣。一般來說，AI產(chǎn)業(yè)的產(chǎn)品發(fā)布比游戲產(chǎn)業(yè)更準(zhǔn)
時。
Q：Sora模型在做訓(xùn)練的時候，使用了哪些類型的訓(xùn)練材料？
A：關(guān)于訓(xùn)練材料的使用情況，據(jù)我們猜測，Sora模型可能訓(xùn)練了大量的游戲數(shù)據(jù)，因為這些數(shù)據(jù)通常
是帶有三維特性的，這為模型提供了豐富的內(nèi)容和素材。
Q：Sora模型面臨的問題有哪些？
A：Sora模型可能會面臨兩個主要的問題，需要引起投資者的注意。第一個是廢棄問題，這包括可能產(chǎn)
生大量的誤導(dǎo)性信息。解決這些問題正是目前進(jìn)行紅隊測試的主要原因之一。尤其是對于虛假信息的
識別較為困難，因為它們是設(shè)計來欺騙的，可能需要人工細(xì)致地進(jìn)行審查。若處理不當(dāng)，對于國內(nèi)商
業(yè)化可能會有較大影響，因為國內(nèi)產(chǎn)品推廣時需先解決這些問題。然而，這也為創(chuàng)業(yè)者提供了機(jī)遇，
如果能幫助AI解決這些問題，可能會有商業(yè)上的成功。第二個是數(shù)據(jù)和版權(quán)問題，這對所有AI產(chǎn)品而
言都是核心問題。原生的AI公司很難積累大量數(shù)據(jù)。例如，雖然OpenAI背靠微軟，但也缺乏相應(yīng)的原
生數(shù)據(jù)。學(xué)習(xí)過程中可能會面臨數(shù)據(jù)安全、隱私侵犯等風(fēng)險。版權(quán)方面，需要考慮AI生成內(nèi)容是否具
備版權(quán)，應(yīng)該如何保護(hù)以及權(quán)利如何分割。如內(nèi)容生成者、模型和運營平臺之間的責(zé)任劃分，都是商
業(yè)化需要考慮的問題。隨著AI生成內(nèi)容越來越多，版權(quán)問題的設(shè)立變得尤為重要。
業(yè)務(wù)實施流程 馬上咨詢： 如果您有業(yè)務(wù)方面的問題或者需求，歡迎您咨詢！我們帶來的不僅僅是技術(shù)，還有行業(yè)經(jīng)驗積累。
QQ: 39764417/308460098 Phone: 13 9800 1 9844 / 135 6887 9550 聯(lián)系人：石先生/雷先生