AMD显卡+Ollama本地部署千问模型

我的硬件配置环境处理器AMD Ryzen 7 7800X3D显卡讯景 AMD Radeon RX 9060 XT显存 16GB内存32GB DDR5操作系统Windows 11相关安装工具包括Windows powershell、Ollama(AMD 显卡要重点解决 ROCm 库的问题)、Open WebUI、Desktop Docker。完整安装过程第一步获取Ollama安装包这是最基础的一步我们需要从官方渠道下载Ollama的Windows版本安装程序。1. 访问Ollama官网下载页面下载Windows版本的安装包通常名为OllamaSetup.exe。2. 运行安装程序按照提示完成安装。第二步更新ROCm库解决AMD ROCm 兼容性问题1.确定显卡架构是什么系列官网查询地址Windows 系统需求 — HIP SDK for Windows --- System requirements for Windows — HIP SDK for Windowshttps://rocm.docs.amd.com/projects/install-on-windows/en/develop/reference/system-requirements.html2.下载对应的获取ROCm库点击访问解压替换C:\Users\usrname\AppData\Local\Programs\Ollama\lib\ollama\rocm中的内容。删除现有的rocblas/library文件夹用下载解压的library文件全部替换删除现有的rocblas.dll文件用下载解压的rocblas.dll文件替换我的AMD Radeon RX 9060 XT对应是gfx1200系列使用official版本的压缩包中文件替换即可。附官方提供的ollama for amd的说明地址发行作品 ·likelovewant/ollama-for-amd --- Releases · likelovewant/ollama-for-amd第三步可选配置系统环境变量如果使用ROCm库后仍然没有调用显卡那就修改Vulkan为了让 Ollama 调用 AMD 显卡必须开启 Vulkan 模式。这一步是让Ollama“认出”你的AMD显卡的关键。在Windows搜索栏输入“环境变量”选择“编辑系统环境变量”。点击“环境变量”按钮。在“系统变量”区域点击“新建”。变量名输入 OLLAMA_VULKAN变量值输入 1点击“确定”保存所有设置。第四步启动服务并验证效果配置完成后我们需要启动Ollama并检查日志确认显卡是否被成功调用。1. 打开PowerShell或CMD终端。2. 输入命令 ollama serve 启动服务。3. 观察输出的日志信息。验证结果 如果一切顺利你将在日志中看到类似如下的关键信息这表明你的AMD显卡通过Vulkan已经成功被识别并投入使用msginference compute libraryVulkan ... descriptionAMD Radeon RX 9060 XT ...第五步下载及安装千问大模型按照电脑硬件性能我选择了 qwen3-14b-abliterated:Q5_K_M可以通过ollama官网查找添加其他模型。wins打开搜索windows powershell执行模型下载命令第六步部署 Ollama WebUIOllama WebUI 是社区流行的图形界面工具支持多会话、历史记录、系统提示编辑等功能。WebUI需要先安装docker如何安装请自行搜索网络。WebUI通过命令执行下载安装由于国外服务器下载缓慢我通过如下方式完成在 windows powershell 中执行命令1.修改镜像名称拉取镜像docker pull ghcr.nju.edu.cn/open-webui/open-webui:main2.给镜像打上官方标签docker tag ghcr.nju.edu.cn/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main3.执行命令部署WebUIdocker run -d -p 51435:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main安装完成后在Docker Desktop中可以看到Open WebUI的web界面地址为https://localhost:51435。打开如下