SpringAI 整合 Ollama 大语言模型实践

https://ollama.com/

下载地址：https://ollama.com/download，以 Mac OS 为例，下载后解压即用，支持多平台一键安装。



官方模型：https://ollama.com/library，我们以 70 亿参数的大模型部署到本地来进行演示。

模型启动：下载完成后打开终端，即可操作 Ollama 相关的命令

1. 查看当前模型列表

# 查看当前模型列表
ollama list

2. 拉取模型：

# 拉取模型
ollama pull 

3. 启动模型：

# 启动模型
ollama run llama3:70b

4. 其它命令：

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

5. 大模型交互演示：

6. ⚠️ 注意：大模型的运行对 GPU 的要求比较高，请根据自己的电脑配置选择合适的模型，以我目前这台 Macbook 30核 GPU 为例，在模型运行期间的 GPU 使用情况如图所示，存在轻微卡顿现象：
   
   
   

---