Sora技術(shù)架構(gòu)（僅供參考）
發(fā)布日期：2024/3/3 22:59:17 瀏覽量：
Sora技術(shù)架構(gòu)（僅供參考）
SORA 模型結(jié)構(gòu)可以表示：SORA = [VAE encoder + DiT (DDPM) + VAE decoder]
SORA 模型訓(xùn)練流程：
?Step1：使用
DALLE 3（CLIP ）
把文本和圖像對(duì) <text，image>
聯(lián)系起來(lái)；
?Step2：視頻數(shù)據(jù)切分為 Patches 通過(guò)
VAE 編碼器壓縮成低維空間表示；
?Step3：基于 Diffusion
Transformer 從圖像語(yǔ)義生成，完成從文本語(yǔ)義到圖像語(yǔ)義進(jìn)行映射；
?Step4：DiT
生成的低維空間表示，通過(guò) VAE 解碼器恢復(fù)成像素級(jí)的視頻數(shù)據(jù)；
業(yè)務(wù)實(shí)施流程 馬上咨詢： 如果您有業(yè)務(wù)方面的問(wèn)題或者需求，歡迎您咨詢！我們帶來(lái)的不僅僅是技術(shù)，還有行業(yè)經(jīng)驗(yàn)積累。
QQ: 39764417/308460098 Phone: 13 9800 1 9844 / 135 6887 9550 聯(lián)系人：石先生/雷先生