蜜桃av色欲a片精品一区,麻豆aⅴ精品无码一区二区,亚洲人成网站在线播放影院在线,亚洲 素人 字幕 在线 最新

OpenAI 提供了兩項基于 GPT-3 模型的能力：

1. fine-tune 微調(diào)
2. embedding 嵌入

fine-tune

一般稱之為微調(diào)。

模型底層更通用，頂層更垂直，fine-tune 的原理是在不改動（或不能改動）預訓練模型的基礎上，在模型「頂層」增加分類器或一些特征映射，使微調(diào)后的模型能夠更貼合實際使用場景。

在 OpenAI 中，可以在不改動 GPT-3 大模型的情況下，針對 prompt 和 completion 的進行訓練，對「句式」、「情感」等特征進行優(yōu)化。

OpenAI-fine-tune
GPT-3 已經(jīng)預訓練了大量的互聯(lián)網(wǎng)內(nèi)容。只需要在 prompt 里寫少量的用例，他基本可以感知你的用意，并生成一段基本合理的 completion。這個功能一般叫做 "few-shot learning".
fine-tune 基于 few-shot learning，通過訓練比寫在 prompt 里更多的示例，可以得到更好的結果。模型被微調(diào)后，就不用在 prompt 里再寫一些實例了。這樣可以節(jié)省成本和耗時。

使用場景：

1. 想讓 GPT-3 按照某種格式來識別 Prompt ，或按照某種格式來回答
2. 想讓 GPT-3 按照某種語氣、性格來回答
3. 想讓 completion 具有某種傾向

比如不進行 fine-tune 提問

prompt: 
小紅喜歡洋娃娃。小紅的性別是？ 

completion: 
女孩，所以她很喜歡洋娃娃。洋娃娃通常有著豐富多彩的服裝和裝飾，可以讓小紅玩得很開心。此外，紅還可以給洋娃娃起名字，造出一個屬于自己的小世界，從而獲得更多的樂趣。

GPT-3 詳盡的回答了你的問題，但是可能你只想知道是 男 or 女。

在 prompt 里加入示例

prompt:
示例：小紅喜歡洋娃娃。小紅的性別是？
答案：女 

下面是問題：小明喜歡坦克，小明的性別是？ 

completion:
答案：男

經(jīng)過提示的 prompt 會按照示例的格式回答你的問題。

如果通過對大量如下數(shù)據(jù)進行 fine-tuning。

prompt:
小紅喜歡洋娃娃。小紅的性別是？ 

completion: 
答案: 女

訓練后的模型中，按照 prompt 格式書寫，那么 completion 會自動按照期望的格式返回，而不是返回其他內(nèi)容.

類似于 Masked Language Modeling（MLM） ，系統(tǒng)會將回答識別為「答案: [mask] 」，模型去預測 mask 的內(nèi)容，或者理解為「完形填空」

embedding

一般稱之為嵌入。

embedding 一般是指將一個內(nèi)容實體映射為低維向量，從而可以獲得內(nèi)容之間的相似度。

OpenAI 的 embedding 是計算文本與維度的相關性，默認的 ada-002 模型會將文本解析為 1536 個維度。用戶可以通過文本之間的 embedding 計算相似度。

embedding 的使用場景是可以根據(jù)用戶提供的語料片段與 prompt 內(nèi)容計算相關度，然后將最相關的語料片段作為上下文放到 prompt 中，以提高 completion 的準確率。

具體可以看 （二）如何使用 Embedding 提升回答質(zhì)量？

使用場景：

1. 獲取文本特征向量
2. 提供「相關」上下文，讓 GPT-3 依據(jù)上下文回答

fine-tune 和 embedding 可以結合使用，比如通過 fine-tune 訓練基于 context 識別 prompt 模型，再使用此模型使用 embedding 插入上下文，這樣新模型也能更好地理解 prompt

兩者如何選擇

我有一堆語料，想讓 GPT-3 依據(jù)我的語料輸出內(nèi)容 - 使用 embedding

想讓 GPT-3 模仿一個溫柔賢惠的女人和我對話 - 使用 fine-tune

希望用戶按照一定格式提交問題 - 使用 fine-tune

可以根據(jù)產(chǎn)品的使用手冊來回答用戶的問題 - 使用 embedding

  業(yè)務實施流程