蜜桃av色欲a片精品一区,麻豆aⅴ精品无码一区二区,亚洲人成网站在线播放影院在线,亚洲 素人 字幕 在线 最新

  開源?語(yǔ)?模型(LLM)信息集

發(fā)布日期：2023/7/1 18:01:40      瀏覽量：

開源?語(yǔ)?模型(LLM)信息集

隨著ChatGPT的?爆，越來(lái)越多?希望在本地運(yùn)??個(gè)?語(yǔ)?模型。為此我維護(hù)了這個(gè)開源?語(yǔ)?模型匯總，跟蹤每天不發(fā)的?語(yǔ)?模型和精調(diào)語(yǔ)?模型

。
我將根據(jù)個(gè)模型采?的基礎(chǔ)?模型進(jìn)?分類，每個(gè)?模型下列出各派?模型。


Alpaca (Stanford)
斯坦福Alpaca：?種指令遵從型 LLaMA 模型。
Alpaca 官?: https://crfm.stanford.edu/2023/03/13/alpaca.html
?
Alpaca GitHub: https://github.com/tatsu-lab/stanford_alpaca
是否可以商?: 否

以下是基于 Stanford Alpaca 項(xiàng)?的衍?模型或類似模型：
Alpaca.cpp
Alpaca-LoRA
Baize
Cabrita
BELLE
Luotuo
Vicuna
Chinese-Vicuna
GPT4All
Koala
llama.cpp
Lit-LLaMA


Alpaca.cpp
?個(gè)可以在本地設(shè)備上快速運(yùn)?的類ChatGPT模型。視頻中演示的模型具有4G權(quán)重，運(yùn)?在M2芯?的Macbook Air上。視頻是原始速度，沒有加速。
GitHub: https://github.com/antimatter15/alpaca.cpp


Alpaca-LoRA
該項(xiàng)?使?低秩適應(yīng) (LoRA) 重現(xiàn)Stanford Alpaca。
項(xiàng)?提供了?個(gè)與 text-davinci-003 質(zhì)量相似的指令模型，可以在 Raspberry Pi 上運(yùn)?（?于研究），代碼可以很容易地?cái)U(kuò)展到 13B、30B 和 65B 模型。
?
GitHub: https://github.com/tloen/alpaca-lora
Demo: Alpaca-LoRA — a Hugging Face Space by tloen


Baize
Baize 是?個(gè)使? LoRA 微調(diào)的開源聊天模型。 它使?與 ChatGPT 聊天?成的 100k 對(duì)話進(jìn)?訓(xùn)練。 還使? Alpaca 的數(shù)據(jù)來(lái)提?其性能。 ?前已經(jīng)發(fā)布了
7B、13B 和 30B 規(guī)模模型。
?
GitHub: https://github.com/project-baize/baize
論?: 2304.01196.pdf (arxiv.org)


Cabrita
基于LLaMA的葡萄?語(yǔ)微調(diào)模型
?
GitHub: https://github.com/22-hours/cabrita


BELLE
BELLE 基于斯坦福的 Alpaca 完成，對(duì)中?做了優(yōu)化，并對(duì)?成代碼進(jìn)?了?些修改，模型調(diào)優(yōu)僅使?由 ChatGPT ?產(chǎn)的數(shù)據(jù)（不包含任何其他數(shù)據(jù)）。
?
GitHub: https://github.com/LianjiaTech/BELLE


Luotuo
來(lái)?商湯科技和華中科技?學(xué)開源中?語(yǔ)?模型駱駝 Luotuo，該項(xiàng)?基于 LLaMA、Stanford Alpaca、Alpaca LoRA、Japanese-Alpaca-LoRA 等完成，單卡
就能完成訓(xùn)練部署。
?
GitHub: https://github.com/LC1332/Luotuo-Chinese-LLM
GitHub: https://github.com/LC1332/Chinese-alpaca-lora


Vicuna (FastChat)
?個(gè)達(dá)到ChatGPT 90%效果的開源聊天機(jī)器?。
?
GitHub: https://github.com/lm-sys/FastChat
視頻: Vicuna — 90% of ChatGPT quality by using a new dataset? — YouTube


Chinese-Vicuna
?個(gè)中?低資源的LLaMA + LoRA?案，結(jié)構(gòu)參考Alpaca
?
GitHub: https://github.com/Facico/Chinese-Vicuna


GPT4All
基于 LLaMA，??約 800k GPT-3.5-Turbo ?成數(shù)據(jù)訓(xùn)練的助?式?語(yǔ)?模型。
?
GitHub: https://github.com/nomic-ai/gpt4all
視頻: Is GPT4All your new personal ChatGPT? — YouTube


Koala
Koala 是?個(gè)在 LLaMA 上微調(diào)的語(yǔ)?模型。
博客: Koala: A Dialogue Model for Academic Research — The Berkeley Artificial Intelligence Research Blog
?
GitHub: EasyLM/koala.md at main · young-geng/EasyLM (github.com)
Demo: FastChat (lmsys.org)
視頻: Investigating Koala a ChatGPT style Dialogue Model — YouTube


llama.cpp
?純C/C++實(shí)現(xiàn)的LLaMA模型推理。?持3個(gè)模型：LLaMA, Alpaca和GPT4All
?
GitHub: https://github.com/ggerganov/llama.cpp


Lit-LLaMA
LLaMA 的獨(dú)?實(shí)現(xiàn)，?持量化、LoRA微調(diào)和預(yù)訓(xùn)練。在 Apache 2.0 許可下完全開源。 此實(shí)現(xiàn)基于 nanoGPT。
?
GitHub: https://github.com/Lightning-AI/lit-llama


BLOOM (BigScience)
BigScience ?型開放科學(xué)開放存取多語(yǔ)?模型。
?
Hugging Face: bigscience/bloom · Hugging Face
Hugging Face Demo: Bloom Demo — a Hugging Face Space by huggingface


以下是基于 BigScience BLOOM 項(xiàng)?的衍?模型或類似模型：
BLOOM-LoRA
Petals


BLOOM-LoRA
各種指令調(diào)優(yōu)數(shù)據(jù)集的低秩適應(yīng)模型。
?
GitHub: https://github.com/linhduongtuan/BLOOM-LORA


Petals
使?分布式 176B 參數(shù) BLOOM 或 BLOOMZ ?成?本，并根據(jù)您??的任務(wù)對(duì)其進(jìn)?微調(diào)。
?
GitHub: https://github.com/bigscience-workshop/petals


Flamingo (Google/Deepmind)
使?單?視覺語(yǔ)?模型處理多項(xiàng)任務(wù)
官?: Tackling multiple tasks with a single visual language model


以下是基于 Flamingo 項(xiàng)?的衍?模型或類似模型：
Flamingo — Pytorch
OpenFlamingo


Flamingo — Pytorch
在 Pytorch 中實(shí)現(xiàn) Flamingo。包括感知器重采樣器（包括學(xué)習(xí)查詢貢獻(xiàn)要注意的鍵/值的?案，以及媒體嵌?）、專?的掩碼交叉注意?塊，以及交叉注意?
末端的 tanh ?控 + 相應(yīng)的前饋塊。
?
GitHub: https://github.com/lucidrains/flamingo-pytorch


OpenFlamingo
DeepMind Flamingo 模型的開源版本。提供了?于訓(xùn)練和評(píng)估 OpenFlamingo 模型的 PyTorch 實(shí)現(xiàn)。還提供了在新的多模態(tài) C4 數(shù)據(jù)集（即將推出）上訓(xùn)練
的初始 OpenFlamingo 9B 模型。
?
GitHub: https://github.com/mlfoundations/open_flamingo


FLAN (Google)
包含?于?成指令調(diào)優(yōu)數(shù)據(jù)集集合的代碼。 第?個(gè)是原始的 Flan 2021，記錄在 Finetuned Language Models are Zero-Shot Learners 中；第?個(gè)是擴(kuò)展版
本，被稱為 Flan Collection，記錄在 The Flan Collection: Designing Data and Methods for Effective Instruction Tuning 中，?于?成 Flan-T5 和 FlanPaLM。
?
GitHub: https://github.com/google-research/FLAN


以下是基于 FLAN 項(xiàng)?的衍?模型或類似模型：
Flan-Alpaca
Flan-UL2


Flan-Alpaca
來(lái)??類和機(jī)器的指令調(diào)優(yōu)。 包含?于將 Stanford Alpaca 合成指令調(diào)優(yōu)擴(kuò)展到現(xiàn)有指令調(diào)優(yōu)模型（例如 Flan-T5）的代碼。 HuggingFace 上提供了預(yù)訓(xùn)練
模型和演示。
?
GitHub: https://github.com/declare-lab/flan-alpaca


Flan-UL2
Flan-UL2是基于T5架構(gòu)的編解碼器模型。 它使?與去年早些時(shí)候發(fā)布的 UL2 模型相同的配置。 使?“Flan”提示調(diào)整和數(shù)據(jù)集收集對(duì)其進(jìn)?了微調(diào)。
?
Hugging Face: google/flan-ul2 · Hugging Face
視頻: Trying Out Flan 20B with UL2 — Working in Colab with 8Bit Inference — YouTube


GLM (General Language Model)
GLM 是?種使??回歸填空?標(biāo)進(jìn)?預(yù)訓(xùn)練的通?語(yǔ)?模型，可以針對(duì)各種?然語(yǔ)?理解和?成任務(wù)進(jìn)?微調(diào)。


以下是基于 GLM 項(xiàng)?的衍?模型或類似模型：
GLM-130B
ChatGLM-6B


GLM-130B
GLM-130B是?個(gè)開放的雙語(yǔ)（英漢）雙向密集模型，擁有1300億個(gè)參數(shù)，使?通?語(yǔ)?模型（GLM）的算法進(jìn)?預(yù)訓(xùn)練。 它旨在在單臺(tái)A100（40G 8）或
V100（32G 8）服務(wù)器上?具有130B參數(shù)模型進(jìn)?推理任務(wù)。 通過(guò) INT4 量化，硬件要求可以進(jìn)?步降低到具有 4 * RTX 3090（24G）的單個(gè)服務(wù)器，?性
能?乎沒有下降。 截? 2022 年 7 ? 3 ?，GLM-130B 已經(jīng)接受了超過(guò) 4000 億個(gè)?本標(biāo)記的訓(xùn)練（中?和英?各 200B）。
?
GitHub: https://github.com/THUDM/GLM-130B


ChatGLM-6B
ChatGLM-6B 是?個(gè)開源的、?持中英雙語(yǔ)的對(duì)話語(yǔ)?模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，?戶可以
在消費(fèi)級(jí)的顯卡上進(jìn)?本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。 ChatGLM-6B 使?了和 ChatGPT 相似的技術(shù)，針對(duì)中?問(wèn)答和對(duì)話進(jìn)?了優(yōu)
化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?助、?類反饋強(qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能?成相當(dāng)符合?類偏
好的回答。
官?: ChatGLM
?
GitHub: https://github.com/THUDM/ChatGLM-6B


GPT-J (EleutherAI)
GPT-J 是 EleutherAI 開發(fā)的開源??智能語(yǔ)?模型。GPT-J 在各種零樣本下游任務(wù)上的表現(xiàn)與 OpenAI 的 GPT-3 ?常相似，甚?在代碼?成任務(wù)上的表現(xiàn)優(yōu)
于它。
最新版本 GPT-J-6B 是?種基于名為 The Pile) 的數(shù)據(jù)集的語(yǔ)?模型。The Pile 是?個(gè)開源的 825 GB 語(yǔ)?建模數(shù)據(jù)集，分為 22 個(gè)較?的數(shù)據(jù)集。GPT-J 在
能?上與 ChatGPT 類似，雖然它不具有聊天機(jī)器?的功能，僅作為?本預(yù)測(cè)器。
?
GitHub: https://github.com/kingoflolz/mesh-transformer-jax/#gpt-j-6b
Demo: https://6b.eleuther.ai/


以下是基于 GPT-J 項(xiàng)?的衍?模型或類似模型：
Dolly
Dolly (Databricks)


Databricks 的 Dolly 是?個(gè)在 Databricks 機(jī)器學(xué)習(xí)平臺(tái)上訓(xùn)練的?型語(yǔ)?模型，它基于開源模型 (GPT-J) 在對(duì) 50k的重點(diǎn)語(yǔ)料庫(kù)(Stanford Alpaca)進(jìn)?僅 30
分鐘的微調(diào) ，就表現(xiàn)出令?驚訝的?質(zhì)量指令遵循?為。 我們認(rèn)為這?發(fā)現(xiàn)很重要，因?yàn)樗砻鲃?chuàng)造強(qiáng)?的??智能技術(shù)的能??以前意識(shí)到的要容易得
多。
?
GitHub: https://github.com/databrickslabs/dolly
視頻: Meet Dolly the new Alpaca model — YouTube


Cerebras-GPT (Cerebras)
?系列開源、?效的?型語(yǔ)?模型。 Cerebras 開源了七個(gè) GPT-3 模型，參數(shù)從 1.11 億到 130 億。 這些模型使? Chinchilla 公式進(jìn)?訓(xùn)練，為準(zhǔn)確性和計(jì)算
效率設(shè)定了新的基準(zhǔn)。
官?: Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models — Cerebras
?
Hugging Face: cerebras (Cerebras) (huggingface.co)
視頻: Checking out the Cerebras-GPT family of models — YouTube


GPT-NeoX
該項(xiàng)?記錄了 EleutherAI ?于在 GPU 上訓(xùn)練?規(guī)模語(yǔ)?模型的庫(kù)。 當(dāng)前的框架基于 NVIDIA 的 Megatron 語(yǔ)?模型，并通過(guò) DeepSpeed 技術(shù)以及?些新穎
的優(yōu)化得到了增強(qiáng)。 ?標(biāo)是使這個(gè)項(xiàng)?成為?個(gè)可訪問(wèn)的集散地，以收集訓(xùn)練?規(guī)模?回歸語(yǔ)?模型的技術(shù)，并加速對(duì)?規(guī)模訓(xùn)練的研究。
?
GitHub: https://github.com/EleutherAI/gpt-neox


HuggingGPT
HuggingGPT 是?個(gè)協(xié)作系統(tǒng)，由作為控制器的 LLM 和作為協(xié)作執(zhí)?者的眾多專家模型組成（來(lái)? HuggingFace Hub）。
?
GitHub: https://github.com/microsoft/JARVIS
論?: https://arxiv.org/abs/2303.17580


Polyglot
多語(yǔ)?均衡能?的?型語(yǔ)?模型。 由于對(duì)當(dāng)前多語(yǔ)?模型的?英語(yǔ)性能不滿意，Polyglot團(tuán)隊(duì)制作了?英語(yǔ)語(yǔ)?性能更?的多語(yǔ)?模型，并將其命名為
“Polyglot”。
?
GitHub: https://github.com/EleutherAI/polyglot


Pythia
跨時(shí)間和尺度解釋?回歸Transformer
?
GitHub: https://github.com/EleutherAI/pythia


Segment Anything
Segment Anything Model (SAM) 根據(jù)輸?提示（例如點(diǎn)或框）?成?質(zhì)量的對(duì)象掩碼，它可?于為圖像中的所有對(duì)象?成掩碼。 它已經(jīng)在 1100 萬(wàn)張圖像和
11 億個(gè)掩碼的數(shù)據(jù)集上進(jìn)?了訓(xùn)練，并且在各種分割任務(wù)上具有很強(qiáng)的零樣本性能。
官?: Introducing Segment Anything: Working toward the first foundation model for image segmentation (facebook.com)
?
GitHub: https://github.com/facebookresearch/segment-anything


The RWKV Language Model
RWKV：具有 Transformer 級(jí) LLM 性能的可并?化 RNN（RWKV來(lái)?Transformer的4 個(gè)主要參數(shù)：R W K V）
?
GitHub: https://github.com/BlinkDL/RWKV-LM/RWKV-LM
ChatRWKV: https://github.com/BlinkDL/ChatRWKV
Hugging Face Demo: HuggingFace Gradio demo (14B ctx8192)
Hugging Face Demo: Raven (7B finetuned on Alpaca) Demo
視頻: Raven — RWKV-7B RNN’s LLM Strikes Back — YouTube


XGLM
XGLM 模型是 Few-shot Learning with Multilingual Language Models 中提出的模型。
?
GitHub: https://github.com/facebookresearch/fairseq/tree/main/examples/xglm
Hugging Face: https://huggingface.co/docs/transformers/model_doc/xglm