使用Ollama运行大模型

什么是Ollama？

Ollama是一个开源的框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。

背景

在人工智能领域，模型训练与部署通常依赖于云端服务，这不仅增加了数据传输的成本，还可能引发隐私保护的问题。Ollama 正是在这样的背景下应运而生，旨在为开发者提供一个更加安全、高效且易于使用的本地开发环境。自 2021 年首次发布以来，Ollama 迅速吸引了众多技术爱好者的关注。作为一款开源项目，Ollama 社区不断壮大，贡献者遍布全球各地，共同推动着这一工具的功能完善和技术进步。

特性

• 本地部署：不依赖云端服务，用户可以在自己的设备上运行模型，保护数据隐私。
• 多操作系统支持：无论是Mac、Linux还是Windows，都能很方便安装使用。
• 多模型支持：支持多种流行的LLM模型，如Llama、Falcon等，用户可以根据自己的需求选择不同的模型，一键运行。
• 易于使用：提供了直观的命令行界面，操作简单，上手容易。
• 可扩展性：支持自定义配置，用户可以根据自己的硬件环境和模型需求进行优化。
• 开源：代码完全开放，用户可以自由查看、修改和分发。

优势

• 开源免费：Ollama及其支持的模型完全开源免费，任何人都可以自由使用、修改和分发。
• 简单易用：无需复杂的配置和安装过程，只需几条命令即可启动和运行Ollama。
• 模型丰富：Ollama支持Llama 3、Mistral、Qwen2等众多热门开源LLM，并提供一键下载和切换功能。
• 资源占用低：相比于商业LLM，Ollama对硬件要求更低，即使在普通笔记本电脑上也能流畅运行。

应用场景

• 聊天机器人：Ollama 可以用于构建聊天机器人，提供自然语言交互功能。
• 文本生成：Ollama 可以用于生成各种文本内容，例如新闻文章、博客文章、诗歌、代码等。
• 问答系统：Ollama 可以用于回答用户提出的各种问题。
• 代码生成：Ollama 可以用于生成代码，例如 Python 代码、JavaScript 代码等。

安装使用

下载安装

在Ollama官网下载安装包或通过命令直接安装。

Linux操作系统

curl -fsSL https://ollama.com/install.sh | sh

Windows操作系统

https://www.ollama.com/download/OllamaSetup.exe

MacOS

https://www.ollama.com/download/Ollama-darwin.zip

验证

ollama -v

下载模型

在Ollama仓库找到想要的模型，使用 ollama pull 命令下载。

以下是下载阿里千问的qwen2.5-coder:0.5b的例子。

ollama pull qwen2.5-coder:0.5b

如果要查看本地下载了多少大模型版本，运行以下命令。

ollama ls

运行模型

其实也可以不预先下载模型直接执行run命令，会自动下载所需的模型。类似Docker的run命令。

ollama run qwen2.5-coder:0.5b

开始聊天

run命令执行成功后，终端会处于输入状态，输入对话信息后回车即可调用大模型。

Open Web UI 安装

如果想要在浏览器使用大模型，可以使用 Open Web UI官网

使用docker运行

下载镜像

docker pull ghcr.io/open-webui/open-webui:main

CPU运行Open WebUI

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Nvidia GPU 运行Open WebUI

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

访问Web

浏览器访问 http://127.0.0.1:3000