Ollama简介

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM（大型语言模型）。它简化了 AI 模型的开发和使用过程，解决了硬件配置和环境搭建的棘手问题。Ollama 可以在本地机器上运行模型，消除了基于云的解决方案所面临的延迟、数据传输和定制限制，同时提供更安全的环境。它能将模型推理时间最多缩短 50%，具体取决于硬件配置。

准备环境

搭建步骤

下载ollama

进入官网后，点击Download

llama

下载链接

由于很多人没办法上外网，我这里分享我下载的安装包

https://cloudreve.zxbdwy.online/s/WJhg
提取码：

8qoa83

双击打开安装包后

点击install

桌面上就会出现ollama的图标

运行llama2

默认ollama已经写入环境变量了，所以我们直接输入 win + r ，在运行中输入cmd，然后

验证ollama是否安装

在控制台输入 ollama --version

下载模型

模型列表可以参考官网：https://ollama.com/library

这里使用ollama2

ollama2的配置如下：

  • 7b models generally require at least 8GB of RAM

  • 13b models generally require at least 16GB of RAM

  • 70b models generally require at least 64GB of RAM

下载模型指令：

运行模型

在cmd中输入 ollama run llama2:7b

运行gemma

在cmd中输入 ollama run gemma

接入open webui

关于open webui的搭建可以参考：Open WebUI搭建

设置系统环境变量

用户变量添加 OLLAMA_HOST值为0.0.0.0

使用serve命令来运行ollama

在cmd输入 ollama serve

验证

浏览器输入 127.0.0.1:11434

输入连接地址

这边是将ollama的地址用内网穿透给穿透到外部了，如果有需要，后面会出相关教程

选择模型

测试