蜜桃av色欲a片精品一区,麻豆aⅴ精品无码一区二区,亚洲人成网站在线播放影院在线,亚洲 素人 字幕 在线 最新

  檢索增強(qiáng)生成（RAG）定義

發(fā)布日期：2024/2/29 15:39:58      瀏覽量：

RAG 的定義可以從其工作流程來概括。圖 2描述了典型的 RAG 應(yīng)用程序工作流程。在這個(gè)場(chǎng)景中，用戶向 ChatGPT 詢問最近發(fā)生的一件備受矚目的事件（即 Ope-nAI 首席執(zhí)行官的突然解雇和復(fù)職），該事件引起了相當(dāng)多的公眾討論。ChatGPT 作為最著名和廣泛使用的LLM，受其預(yù)訓(xùn)練數(shù)據(jù)的限制，缺乏對(duì)最近發(fā)生的事件的了解。 RAG 通過從外部知識(shí)庫(kù)檢索最新文檔摘錄來彌補(bǔ)這一差距。在這種情況下，它會(huì)獲取與調(diào)查相關(guān)的精選新聞文章。這些文章與最初的問題一起合并成一個(gè)豐富的提示，使 ChatGPT 能夠綜合明智的響應(yīng)。這個(gè)例子說明了 RAG 過程，展示了它通過實(shí)時(shí)信息檢索增強(qiáng)模型響應(yīng)的能力。

從技術(shù)上講，RAG 通過各種創(chuàng)新方法得到了豐富，解決了諸如“檢索什么”、“何時(shí)檢索”和“如何使用檢索到的信息”等關(guān)鍵問題。信息”。對(duì)于“檢索什么”的研究已經(jīng)從簡(jiǎn)單的標(biāo)記開始取得進(jìn)展 [Khandelwal 等人.,2019]身份檢索[Nishikawa 等人.,2022]更復(fù)雜的結(jié)構(gòu)，如塊[Ram 等人.,2023]和知識(shí)圖譜[Kang 等人.,2023]，研究重點(diǎn)是檢索的粒度和數(shù)據(jù)結(jié)構(gòu)化的水平。粗粒度帶來更多信息，但精度較低。檢索結(jié)構(gòu)化文本可提供更多信息，但會(huì)犧牲效率。 “何時(shí)檢索”的問題導(dǎo)致了從單一的策略[Wang et al. ，2023e，Shi 等人.,2023]到自適應(yīng)[Jiang 等人.,2023b，黃等人.,2023]和多重檢索[Izacard 等人.,2022]方法。檢索頻率高帶來的信息較多，但效率較低。至于“如何使用”檢索到的數(shù)據(jù)，已經(jīng)在模型架構(gòu)的各個(gè)級(jí)別上開發(fā)了集成技術(shù)，包括輸入[Khattab 等人，2017].,2022]，中級(jí) [Borgeaud 等人.,2022]，和輸出層[Liang et al.,2023]。雖然“中間層”和“輸出層”的效果比較好，但存在需要訓(xùn)練、效率低的問題。

Figure 2: A representative instance of the RAG process applied to question answering
RAG 是一種通過整合外部知識(shí)庫(kù)來增強(qiáng)LLM的范式。它采用協(xié)同方法，結(jié)合信息檢索機(jī)制和情境學(xué)習(xí)（ICL）來提高LLM的表現(xiàn)。在此框架中，用戶發(fā)起的查詢提示通過搜索算法檢索相關(guān)信息。然后，這些信息將被融入到LLM的提示中，為生成過程提供額外的上下文。 RAG 的主要優(yōu)勢(shì)在于它無需針對(duì)特定任務(wù)的應(yīng)用程序?qū)LM進(jìn)行再培訓(xùn)。開發(fā)人員可以添加外部知識(shí)庫(kù)，豐富輸入，從而提高模型的輸出精度。 RAG因其高實(shí)用性和低進(jìn)入門檻而成為L(zhǎng)LM系統(tǒng)中最受歡迎的架構(gòu)之一，許多會(huì)話產(chǎn)品幾乎完全基于RAG構(gòu)建。

RAG工作流程包括三個(gè)關(guān)鍵步驟。首先，將語料庫(kù)劃分為離散塊，在這些塊上利用編碼器模型構(gòu)建向量索引。其次，RAG 根據(jù)塊與查詢和索引塊的向量相似性來識(shí)別和檢索塊。最后，該模型根據(jù)從檢索到的塊中收集的上下文信息合成一個(gè)響應(yīng)。這些步驟構(gòu)成了 RAG 流程的基本框架，支撐著其信息檢索和上下文感知生成功能。