蜜桃av色欲a片精品一区,麻豆aⅴ精品无码一区二区,亚洲人成网站在线播放影院在线,亚洲 素人 字幕 在线 最新

  ollama 如何運(yùn)行本地模型和提高API服務(wù)

發(fā)布日期：2024/4/27 9:53:22      瀏覽量：

ollama 使用各種本地大模型真方便

下載地址：https://ollama.com/download

下載-安裝即可，需要運(yùn)行模型，直接cmd下面

輸入命令   ollama run  模型名稱(chēng)

系統(tǒng)會(huì)自動(dòng)下載對(duì)應(yīng)的模型，即可使用啦

一、OLLAMA框架介紹

OLLAMA是一個(gè)基于Python的本地大模型運(yùn)行框架，具有簡(jiǎn)單易用、高效穩(wěn)定等特點(diǎn)。它支持多種大模型的加載和運(yùn)行，包括自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域。通過(guò)OLLAMA，開(kāi)發(fā)者可以在本地輕松實(shí)現(xiàn)大模型的部署和應(yīng)用，無(wú)需依賴(lài)云端資源。

二、OLLAMA本地模型調(diào)用步驟

1. 環(huán)境準(zhǔn)備

首先，確保你的計(jì)算機(jī)已經(jīng)安裝了Python環(huán)境，并且安裝了OLLAMA框架所需的依賴(lài)庫(kù)。你可以通過(guò)pip命令來(lái)安裝這些依賴(lài)庫(kù)，如pip install ollama等。

1. 模型下載

從Ollama官方網(wǎng)站或相關(guān)資源下載所需的本地模型文件。模型文件通常以.pb（Protobuf）或.onnx（Open Neural Network Exchange）格式提供。

1. 模型加載

使用OLLAMA提供的API，將下載的模型文件加載到本地內(nèi)存中。這可以通過(guò)ollama.load_model函數(shù)實(shí)現(xiàn)，如model = ollama.load_model(’path/to/model.pb’)。

1. 模型預(yù)處理

在進(jìn)行模型推理之前，需要對(duì)輸入數(shù)據(jù)進(jìn)行適當(dāng)?shù)念A(yù)處理，以滿足模型的要求。這可能包括數(shù)據(jù)的格式化、編碼、歸一化等操作。

1. 模型推理

使用加載的模型進(jìn)行推理。這可以通過(guò)調(diào)用model.predict或model.run等方法實(shí)現(xiàn)，具體取決于模型的類(lèi)型和OLLAMA框架的版本。

1. 后處理

對(duì)模型的輸出進(jìn)行后處理，以得到最終的結(jié)果。這可能包括解碼、解碼、逆歸一化等操作。

----------------------------------------------------------------------------------------------------------------------------------------------

Ollama 將自己設(shè)置為本地服務(wù)器，端口為 11434。我們可以通過(guò)一個(gè)快速的 curl 命令來(lái)檢查 API 是否響應(yīng)。以下是一個(gè)非流式（即非交互式）REST 調(diào)用，通過(guò) Warp 發(fā)送一個(gè) JSON 風(fēng)格的負(fù)載：

> curl http://localhost:11434/api/generate -d ’{  "model": "llama2",  "prompt": "Why is the sky blue?",  "stream": false }’
響應(yīng)是：

{  "model":"llama2",  "created_at":"2024-02-14T13:48:17.751003Z",  "response": "nThe sky appears blue because of a phenomenon called Rayleigh.."  "done":true,  "context":[518,25580,29962,..],  "total_duration":347735712609,  "load_duration":6372308,  "prompt_eval_duration":6193512000,  "eval_count":368,  "eval_duration":341521220000 }


完整的響應(yīng)行 —— 涵蓋了瑞利散射、光的波長(zhǎng)和太陽(yáng)的角度 —— 在我看來(lái)都是正確的。


設(shè)置了一個(gè)帶有 NuGet 支持的 C# 控制臺(tái)項(xiàng)目，啟動(dòng)速度就會(huì)很快。以下是與 Ollama 聯(lián)系并發(fā)送查詢的代碼：

using OllamaSharp;  var uri = new Uri("http://localhost:11434"); var ollama = new OllamaApiClient(uri);  // select a model which should be used for further operations ollama.SelectedModel = "llama2"; ConversationContext context = null; context = await ollama.StreamCompletion(  "How are you today?",  context, stream => Console.Write(stream.Response));
最終我們?cè)谡{(diào)試控制臺(tái)直接獲得了響應(yīng)（藍(lán)色部分）：