【技术美术】卡通风格渲染
2025/12/23 21:15:38
一、 为什么选择 Ollama？
作为一名折腾过 HuggingFace Transformers、LangChain 的老鸟，我深知本地部署大模型的痛苦：显卡驱动冲突、依赖包版本地狱、动辄几十 GB 的权重文件下载……
Ollama 的出现，简直是降维打击。
它将模型权重、配置和推理引擎打包成一个“Modelfile”，就像 Docker 镜像一样。你不需要写一行 Python 代码，只需要一行命令 ollama run llama3，就能在本地跑起 8B 甚至 70B 的大模型。它支持 CPU/GPU 混合推理，对显存不足的个人电脑极其友好。
二、 Ollama 下载安装教程（Windows 篇）
Ollama 的官方服务器在海外，国内直连下载经常出现速度极慢或连接中断的情况。为了方便大家，这里提供最新版、经过毒霸安全认证的Windows 64位 安装包高速直链。
1. 获取安装包
⬇️ Ollama Windows 安装包 (高速镜像)
👉 点击下载 Ollama 最新版安装包 (.exe)
2. 安装步骤
Windows 版的安装非常简单，几乎是“傻瓜式”的，但有一个细节需要注意。
1.双击运行下载好的 ollama.exe。
2.点击 Install。软件默认会安装到 C:\Users\你的用户名\AppData\Local\Programs\Ollama。
注意：目前官方安装包暂不支持在 GUI 界面选择安装路径（这是很多人的槽点），但不用担心，安装并不大，占用空间的是模型文件，我们后面可以通过环境变量修改模型路径。
3.安装完成后，Ollama 会自动在后台静默运行，并在任务栏右下角出现一个小羊驼图标。
3. 验证安装
打开CMD (命令提示符)或PowerShell，输入以下命令：
codeBash
ollama --version如果输出了类似 ollama version is 0.5.x 的版本号，说明安装成功，环境变量也已自动配置好。
三、 快速上手：运行你的第一个大模型
安装好后，我们来跑一个模型试试。目前最火的开源模型非 Meta 的Llama 3和阿里的Qwen (通义千问)莫属。
1. 拉取并运行模型
在终端中输入以下命令即可自动下载并运行：
运行 Llama 3 (8B 版本):
codeBash
ollama run llama3运行 Qwen 2.5 (适合中文场景):
codeBash
ollama run qwen2.5说明：第一次运行会自动从镜像站拉取模型文件（通常几 GB），速度取决于你的带宽。下载完成后，会自动进入交互式对话界面。
退出对话：输入 /bye 并回车即可退出。
2. 常用命令速查表
作为开发者，这几个命令必须熟记：
| 命令 | 描述 | 示例 |
| ollama pull [模型名] | 仅下载模型但不运行 | ollama pull llama3 |
| ollama list | 查看本地已安装的模型列表 | ollama list |
| ollama rm [模型名] | 删除本地模型（释放空间） | ollama rm llama3 |
| ollama serve | 启动 API 服务（默认端口 11434） | ollama serve |
四、 进阶配置：解决 C 盘爆满问题（核心干货）
这是本篇Ollama 下载安装教程中含金量最高的部分。
默认情况下，Ollama 会把下载的动辄几十 GB 的模型文件存放在 C:\Users\你的用户名\.ollama\models。对于 C 盘只有 100G 的用户来说，拉两个模型 C 盘就红了。
解决方案：通过环境变量更改存储路径。
步骤如下：
关闭 Ollama：在任务栏右下角右键点击 Ollama 图标，选择 Quit Ollama（必须彻底退出，否则配置不生效）。
打开环境变量设置：
右键“此电脑” -> 属性 -> 高级系统设置 -> 环境变量。
新建系统变量：
在“系统变量”区域（不是用户变量），点击“新建”。
变量名：OLLAMA_MODELS
变量值：D:\AI_Models (这里填写你想存放模型的非系统盘路径)。
重启服务：
重新双击 Ollama 启动程序。
验证：以后下载的模型就会自动存入 D 盘了，再也不用担心 C 盘爆红。
五、 开发者应用：API 调用与 WebUI 集成
Ollama 不仅仅是个聊天工具，它更是一个标准的 API 服务端。
1. 本地 API 调用
Ollama 默认在 localhost:11434 开启服务。你可以用 Python 极其简单地调用它：
codePython
import requests import json url = "http://localhost:11434/api/generate" data = { "model": "llama3", "prompt": "用Python写一个冒泡排序", "stream": False } response = requests.post(url, json=data) print(response.json()['response'])这段代码意味着你可以把大模型接入到你自己的 ERP、网站或者自动化脚本中。
2. 推荐 WebUI：Open WebUI
如果你不喜欢黑乎乎的命令行，想要类似 ChatGPT 那样的漂亮界面，推荐安装Open WebUI（需要 Docker）。
或者使用更轻量的Chatbox客户端，直接在设置里将 API 地址填为 http://localhost:11434 即可连接。
六、 常见问题排查 (Troubleshooting)
Q1: 下载模型速度极慢，经常超时？
A: 这是网络问题。可以尝试配置系统代理，或者寻找国内的 Ollama 镜像源加速。当然，确保你安装的是本文提供的高速安装包能解决软件本身的更新问题。
Q2: 显存不足，运行大模型卡顿？
A: Ollama 默认是 FP16 精度。你可以尝试下载量化版本（Quantized），比如 4-bit 版本。
命令：ollama run llama3:8b-instruct-q4_0。量化后的模型对显存要求大幅降低，8G 显存就能跑得很欢。
Q3: 能够对外网提供服务吗？
A: 默认 Ollama 绑定的是 127.0.0.1。如果想让局域网其他电脑访问，需要设置环境变量 OLLAMA_HOST 为 0.0.0.0。
七、 总结
Ollama 是目前本地部署 LLM 的最优解，没有之一。它屏蔽了底层复杂的 CUDA 和 PyTorch 依赖，让开发者能专注于应用层的创新。
通过这篇Ollama 下载安装教程，你应该已经成功在 Windows 上跑通了第一个大模型，并解决了模型存储路径的隐患。接下来，无论是做 RAG（知识库检索）、做 Agent（智能体），还是单纯用来写代码，Ollama 都是你得力的助手。
附件下载：
Ollama Windows 官方最新版安装包 (高速直链)https://dubapkg.cmcmcdn.com/cs/257def/ollama.exe