武汉市网站建设_网站建设公司_移动端适配_seo优化

文章详细介绍了本地大模型工具Ollama的安装与使用方法，涵盖Windows和Linux(wsl2)两种环境。作者通过实际测试体验了不同模型的功能，指出本地模型虽功能不及云端大模型，但能满足基本需求且保护隐私。Ollama还提供cloud版本，解决了本地硬件不足时的需求，为程序员和小白提供了本地部署大模型的实用指南。

元旦假期，我试了试Ollama。这里是一些记录。

与2025年初对openAI望洋兴叹时不同，在2026年初，我们有豆包、元宝、千问等很多快速、智能、操作方便的大模型可用。我几乎每天都用它们，工作中写文档要查一查，写代码也要查一查，生活中也是如此。

这些模型都是运行在远程服务器上的。我们每一次得到了帮助，也顺便为大模型的自我演化成长提供了素材。偶尔，也会有不合适把信息透露给网上大模型的想法。毕竟人总有那么点儿隐私之类的。

这时就会有在本地运行大模型的需要。现阶段最常见的工具是Ollama和vLLM。这一篇围绕Ollama，以后再加上vLLM的。

安装、使用

Ollama的下载网站是 ollama.com。它提供了Windows, Mac和Linux三种版本。我今天试了Windows和Linux(wsl2)两个版本。整体上很顺利。

Windows版本Ollama

Ollama的Windows版本看起来像乞丐版的元宝。下面的两幅截图，第一幅是元宝，第二幅是Ollama。

Ollama虽然简陋，但可用选择模型，可以发送消息，得到答案。具备了日常使用所必须的功能。

Linux版本Ollama

因为我的Linux是一个wsl2, 所以ollama是命令行方式的。使用起来与其他的命令没有多大区别:

在一个窗口运行它的服务器

ollama serve

在另外一个窗口运行命令,

ollama run qwen3 "怎么计算圆周率Π？"

首次运行时，需要下载所选的模型。模型的尺寸都是比较大的，3GB、5GB，甚至更大。但下载完成一个模型也就是10分钟以内。这与访问github.com等网站的体验相比，要强多了。我很少遇到能够顺利将一个较大的代码库git clone下载的。

模型功能体会

我们毕竟是要依靠模型来解答疑问的。这些免费的模型功能怎么样？

下面的问题是我发给qwen3-coder:30b的，让绘制一只绵羊。

这绵羊的四条腿不太好，但头和身体基本上对了。

下面是问deepseek-r1 8b 一个不太好回答的数学问题,

模型在数学规则上做对了，但是在经典的难题（类似于问strawberry有几个r问题）数数上，把第一个问题的9的个数搞错了。我问8.9与8.11，它就回答得挺好，它不仅正确回答了数学问题，还知道考虑到特定上下文的场景问题。

Ollama cloud

在本地运行模型的一个前提条件是需要本地的硬件配置较高，模型要能够跑得起来，速度要满足使用所需，否则就大幅度限制了用途。

Ollama开发者很明显也对大家的困惑感同身受，也提供了cloud版本的模型，主要是一些满血版本的模型，比如671b的deepseek，480b的qwen3-coder等，方便用户在本地小规格模型难以满足要求时，在不切换工作接口界面（尤其是工具集成）的情况下调用更大模型。

如何学习AI大模型？

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓