蜜桃av色欲a片精品一区,麻豆aⅴ精品无码一区二区,亚洲人成网站在线播放影院在线,亚洲 素人 字幕 在线 最新

  對ChatGPT原理的最佳解釋

發(fā)布日期：2023/11/26 10:03:49      瀏覽量：

對ChatGPT原理的最佳解釋，淺顯易懂

1、ChatGPT的核心是神經(jīng)網(wǎng)絡：神經(jīng)網(wǎng)絡是對理想化人腦的模擬

• 人類大腦有大約 1000 億個神經(jīng)元( 神經(jīng)細胞 )，每個神經(jīng)元都能夠產(chǎn)生電脈沖，最高可達每秒約 1000 次。

• 這些神經(jīng)元連接成復雜的網(wǎng)絡，每個神經(jīng)元都有樹枝狀的分支，從而能夠向其他數(shù)干個神經(jīng)元傳遞電信號。

• 粗略地說，任意一個神經(jīng)元在某個時刻是否產(chǎn)生電脈沖，取決于它從其他神經(jīng)元接收到的電脈沖，而且神經(jīng)元不同的連接方式會有不同的“權(quán)重”貢獻。

  
  

• ChatGPT的核心是神經(jīng)網(wǎng)絡，就是對理想人腦的模擬。

• ChatGPT雖然看起來很復雜，但實際上涉及的最終元素和原理非常簡單，就是一個由“人工神經(jīng)元”構(gòu)成的神經(jīng)網(wǎng)絡，每個神經(jīng)元執(zhí)行簡單操作：將一組數(shù)值輸入與一定的權(quán)重相結(jié)合。

• ChatGPT的原始輸入是一個由數(shù)組成的數(shù)組，當ChatGPT“運行”以產(chǎn)生新標記時，這些數(shù)就會“依次通過”神經(jīng)網(wǎng)絡的各層，而每個神經(jīng)元都會“做好本職工作”并將結(jié)果傳遞給下一層的神經(jīng)元。一切都是在網(wǎng)絡中“向前饋送”的。

  
  

2、神經(jīng)網(wǎng)絡如何達到理想效果呢？

• 基本思想是提供大量的“輸入→輸出”樣例以供“學習”（也就是訓練），然后嘗試找到能夠復現(xiàn)這些樣例的權(quán)重。

• 應該如何調(diào)整權(quán)重呢？基本思想是，在每個階段看一下我們離想要的效果“有多遠”，然后朝更接近該函數(shù)的方向更新權(quán)重。

• 如何衡量離目標“有多遠”？用“損失函數(shù)”表示。

• 學習的樣本越多，損失就越少：離理想效果的差距就越小。

3、神經(jīng)網(wǎng)絡訓練基本上是一門藝術(shù)

• 為什么這么說？大多數(shù)情況下，神經(jīng)網(wǎng)絡的學問不是通過第一性原理推導出來，而是通過“試錯”、并不斷添加想法和技巧發(fā)現(xiàn)的，其中還有大量至今也無法解釋原因。

——你就是知道，結(jié)果上看，是有效。

這也部分說明了為什么神經(jīng)網(wǎng)絡在過去的幾十年里一直被冷嘲熱諷。

4、為什么ChatGPT生成一段長文本需要等待一定的時間？

• 因為每生成一個新的token（詞或者詞的一部分），基本上都必須進行一次包含1750億個權(quán)重的計算。

• ChatGPT總共有1750億個連接，因此有1750億個權(quán)重。需要認識到的一件事是，ChatGPT 每生成一個新的標記，都必須進行一次包括所有這些權(quán)重在內(nèi)的計算。在實現(xiàn)上，這些計算可以“按層”組織成高度并行的數(shù)組操作，方便地在GPU上完成。

• 但是對于每個產(chǎn)生的標記，仍然需要進行1750億次計算（并在最后進行一些額外的計算）

• 因此，不難理解使用 ChatGPT 生成一段長文本需要一些時間。

5、為什么大語言模型的訓練成本這么高、動輒上億？

• 當我們運行 ChatGPT來生成文本時，基本上每個權(quán)重都需要使用一次。因此，如果有n個權(quán)重，就需要執(zhí)行約n個計算步驟——盡管在實踐中，許多計算步驟通?？梢栽贕PU 中并行執(zhí)行。

• 但是，如果需要約n個詞的訓練數(shù)據(jù)來設置這些權(quán)重，那么如上所述，我們可以得出結(jié)論：需要約n*n個計算步驟來進行網(wǎng)絡的訓練。

• 這就是為什么使用當前的方法最終需要耗費數(shù)十億美元來進行訓練。

6、大模型訓練的數(shù)據(jù)會耗盡嗎？很可能不會

• 神經(jīng)網(wǎng)絡的一個重要特征是，它們說到底只是在處理數(shù)據(jù)——和計算機一樣。

• 神經(jīng)網(wǎng)絡的一個特點是，“數(shù)據(jù)增強”的變化不一定要很復雜才有用。只需使用基本的圖像處理方法稍微修改圖像，即可使其在神經(jīng)網(wǎng)絡訓練中基本上“像新的一樣好”。比如當人們在訓練自動駕駛汽車時用完了實際的視頻等數(shù)據(jù)，可以繼續(xù)在模擬的游戲環(huán)境中獲取數(shù)據(jù)，而不需要真實場景的所有細節(jié)。

  
  

——這是關于數(shù)據(jù)很有意思的點，因為有很多人討論數(shù)據(jù)耗盡以后怎么辦。

另外值得關注的點是：還可以將神經(jīng)網(wǎng)絡本身生成的數(shù)據(jù)用于訓練神經(jīng)網(wǎng)絡，所謂用AI訓練AI。

7、未來是否有更好的方法來訓練神經(jīng)網(wǎng)絡呢？大概率是有的

• 未來，是否會有更好的方法來訓練神經(jīng)網(wǎng)絡或者完成神經(jīng)網(wǎng)絡的任務呢？我認為答案幾乎是肯定的。

• 訓練神經(jīng)網(wǎng)絡很難，并且需要大量的計算工作。實際上，絕大部分工作是在處理數(shù)的數(shù)組，這正是GPU擅長的——這也是為什么神經(jīng)網(wǎng)絡訓練通常受限于可用的GPU 數(shù)量。

• 神經(jīng)網(wǎng)絡的基本思想是利用大量簡單（本質(zhì)上相同）的組件來創(chuàng)建一個靈活的“計算結(jié)構(gòu)”，并使其能夠逐步通過學習樣例得到改進。在當前的神經(jīng)網(wǎng)絡中，基本上是利用微積分的思想（應用于實數(shù)）來進行這種逐步的改進。但越來越清楚的是，重點并不是擁有高精度數(shù)值，即使使用當前的方法，8位或更少的數(shù)也可能已經(jīng)足夠了。

• 神經(jīng)網(wǎng)絡（或許有點像大腦）被設置具有一個基本固定的神經(jīng)元網(wǎng)絡，能改進的是它們之間連接的強度（“權(quán)重”）。（或許在年輕的大腦中，還可以產(chǎn)生大量全新的連接。）雖然這對生物學來說可能是一種方便的設置，但并不清楚它是否是實現(xiàn)我們所需功能的最佳方式。涉及漸進式網(wǎng)絡重寫的東西，可能最終會做得更好。

• 即使僅在現(xiàn)有神經(jīng)網(wǎng)絡的框架內(nèi)，也仍然存在一個關鍵限制，神經(jīng)網(wǎng)絡的訓練目前基本上是順序進行的，每批樣例的影響都會被反向傳播以更新權(quán)重。事實上，就目前的計算機硬件而言，即使考慮到GPU，神經(jīng)網(wǎng)絡的大部分在訓練期間的大部分時間里也是“空閑”的，一次只有一個部分被更新。從某種意義上說，這是因為當前的計算機往往具有獨立于CPU（或GPU）的內(nèi)存。

• 但大腦中的情況可能不同——每個“記憶元素”（即神經(jīng)元）也是一個潛在的活躍的計算元素。如果我們能夠這樣設置未來的計算機硬件，就可能會更高效地進行訓練。

——這也許為解決制約當前AI發(fā)展的最大瓶頸（算力）提供了可能的方向。

8、ChatGPT的出現(xiàn)，與其說是計算機突然變得強大，不如說是人類語言并沒有我們想象中的那么難

• ChatGPT的神奇，可能會帶來一些潛在的困惑。過去，我們認為計算機完成很多任務（包括寫文章）在“本質(zhì)上太難了”?，F(xiàn)在我們看到像 ChatGPT這樣的系統(tǒng)能夠完成這些任務，會傾向于突然認為計算機一定變得更加強大了。

• 但這并不是正確的結(jié)論……我們應該得出的結(jié)論是，（像寫文章這樣）人類可以做到但認為計算機無法做到的任務，在某種意義上計算起來實際上比我們想象的更容易。

9、ChatGPT 到底在做什么？它為什么能做到這些？

• ChatGPT 的基本概念在某種程度上相當簡單：首先從互聯(lián)網(wǎng)、書籍等獲取人類創(chuàng)造的海量文本樣本，然后訓練一個神經(jīng)網(wǎng)絡來生成與之類似”的文本。特別是，它能夠從“提示”開始，繼續(xù)生成與其訓練數(shù)據(jù)相似的文本”。

• ChatGPT 中的神經(jīng)網(wǎng)絡實際上由非常簡單的元素組成，盡管有數(shù)十億個。神經(jīng)網(wǎng)絡的基本操作也非常簡單，本質(zhì)上是對于它生成的每個新詞（或詞的一部分)，都將根據(jù)目前生成的文本得到的輸入依次傳遞“給其所有元素一次”。

• 值得注意和出乎意料的是，這個過程可以成功地產(chǎn)生與互聯(lián)網(wǎng)、書籍等中的內(nèi)容“相似”的文本。ChatGPT 不僅能產(chǎn)生連貫的人類語言，而且能根據(jù)“閱讀”過的內(nèi)容來“循著提示說一些話”。

• 這表明了一些至少在科學上非常重要的東西：人類語言及其背后的思維模式在結(jié)構(gòu)上比我們想象的更簡單、更“符合規(guī)律”。