1. Baichuan-13B學習與實戰(zhàn)

1. Baichuan
2. 論文地址：
3. Github 代碼：
4. baichuan-inc/Baichuan-13B：https://github.com/baichuan-inc/Baichuan-13B
5. mark1879/Baichuan-13B-Finetuning：https://github.com/mark1879/Baichuan-13B-Finetuning
6. 模型：
7. 官方微調(diào)過（指令對齊）:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
8. 預訓練大模型（未經(jīng)過微調(diào)）:https://huggingface.co/baichuan-inc/Baichuan-13B-Base
9. 體驗網(wǎng)站：

一、前言

1.1 Baichuan 介紹

Baichuan-13B 是由百川智能繼 Baichuan-7B 之后開發(fā)的包含 130 億參數(shù)的開源可商用的大規(guī)模語言模型，在權威的中文和英文 benchmark 上均取得同尺寸最好的效果。Baichuan-13B 有如下幾個特點：

1. 更大尺寸、更多數(shù)據(jù)：Baichuan-13B 在 Baichuan-7B 的基礎上進一步擴大參數(shù)量到 130 億，并且在高質量的語料上訓練了 1.4 萬億 tokens，超過 LLaMA-13B 40%，是當前開源 13B 尺寸下訓練數(shù)據(jù)量最多的模型。支持中英雙語，使用 ALiBi 位置編碼，上下文窗口長度為 4096。
2. 同時開源預訓練和對齊模型：預訓練模型是適用開發(fā)者的“基座”，而廣大普通用戶對有對話功能的對齊模型具有更強的需求。因此本次開源同時發(fā)布了對齊模型（Baichuan-13B-Chat），具有很強的對話能力，開箱即用，幾行代碼即可簡單的部署。
3. 更高效的推理：為了支持更廣大用戶的使用，本次同時開源了 int8 和 int4 的量化版本，相對非量化版本在幾乎沒有效果損失的情況下大大降低了部署的機器資源門檻，可以部署在如 Nvidia 3090 這樣的消費級顯卡上。
4. 開源免費可商用：Baichuan-13B 不僅對學術研究完全開放，開發(fā)者也僅需郵件申請并獲得官方商用許可后，即可以免費商用。

1.2 軟件資源

1. CUDA 11.7
2. Python 3.10
3. pytorch 1.13.1+cu117

1.3 硬件要求

1. LoRA 顯存：>= 32G
2. QLoRA 顯存：>= 12G

二、環(huán)境搭建

2.1 下載代碼

2.2 構建環(huán)境

2.3 安裝依賴

三、Baichuan-13B 大模型

3.1 Baichuan-13B 大模型 介紹

baichuan-13B 大模型 包含 兩種：

1. 第一種：Baichuan-13B-Chat 官方微調(diào)過（指令對齊）
2. 第二種：Baichuan-13B-Base 預訓練大模型（未經(jīng)過微調(diào)）

3.2 Baichuan-13B 大模型 下載

四、Baichuan-13B 模型 LoRA 微調(diào)

4.1 準備訓練數(shù)據(jù)

data 目錄下存儲了訓練數(shù)據(jù)，可根據(jù)業(yè)務需要自行準備數(shù)據(jù)，數(shù)據(jù)格式如下：

1. instruction：任務指令，不能為空。
2. input：任務輸入，可為空。如果不為空，項目內(nèi)部處理訓練數(shù)據(jù)時，會將 instruction、input 拼接在一起作為任務的輸入。
3. output：任務輸出，不能為空。

4.2 Baichuan-13B 模型 LoRA 微調(diào)

運行命令

1. 參數(shù)介紹：
2. CUDA_VISIBLE_DEVICES=0: 單卡運行；
3. do_train: 是否執(zhí)行訓練。
4. model_name_or_path: 預訓練模型路徑。
5. dataset_dir: 訓練數(shù)據(jù)存儲目錄。
6. dataset: 訓練數(shù)據(jù)集名稱，可在 data/dataset_info.json 中增加自定義數(shù)據(jù)集。
7. output_dir: 微調(diào)后的模型保存路徑。
8. source_prefix: 訓練時每個輸入序列添加的前綴，可為空。
9. max_source_length: 輸入序列的最大長度，即 source_prefix + instruction + input 的長度。
10. max_target_length: 輸出序列的最大長度，即 output 的長度。
11. per_device_train_batch_size: 用于訓練的批處理大小?？筛鶕?jù) GPU 顯存大小自行設置。
12. gradient_accumulation_steps: 梯度累加次數(shù)。
13. logging_steps: 多少步輸出一次 log。
14. save_steps: 多少步保存一次參數(shù)。
15. learning_rate: AdamW 優(yōu)化器的初始學習率。
16. num_train_epochs: 訓練輪數(shù)（若非整數(shù)，則最后一輪只訓練部分數(shù)據(jù)）
17. plot_loss: 微調(diào)后繪制損失函數(shù)曲線，圖片保存在 output_dir 中 。
18. fp16: 使用半精度（混合精度）訓練。
19. lora_target: 大模型內(nèi)將要進行 LoRA 微調(diào)的模塊名稱。
20. lora_rank: LoRA 微調(diào)中的秩大小。

五、Baichuan-13B 模型 LoRA 微調(diào)后模型測試

運行命令

1. 參數(shù)介紹：
2. CUDA_VISIBLE_DEVICES=0: 單卡運行。
3. do_eval: 是否執(zhí)行測試。
4. model_name_or_path: 預訓練模型路徑。
5. checkpoint_dir: 微調(diào)模型路徑。
6. dataset_dir: 測試數(shù)據(jù)存儲目錄。
7. dataset: 測試數(shù)據(jù)集名稱，可在 data/dataset_info.json 中增加自定義數(shù)據(jù)集。
8. output_dir: 測試結果保存路徑。
9. per_device_eval_batch_size： 測試數(shù)據(jù)的批處理大小?？筛鶕?jù) GPU 顯存大小，自行設置。
10. predict_with_generate: 是否生成序列用于計算 ROUGE 或 BLEU 分數(shù)。

六、Baichuan-13B 模型 部署

1. 參數(shù)介紹：
2. model_name_or_path: 預訓練模型路徑。
3. checkpoint_dir: 微調(diào)模型路徑。

填坑筆記

參考

1. baichuan-inc/Baichuan-13B：https://github.com/baichuan-inc/Baichuan-13B
2. mark1879/Baichuan-13B-Finetuning：https://github.com/mark1879/
3. 官方微調(diào)過（指令對齊）:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
4. 預訓練大模型（未經(jīng)過微調(diào)）:https://huggingface.co/baichuan-inc/Baichuan-13B-Base