Ubuntu安装llama.cpp

张开发
• 2026/4/3 19:10:55 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

Ubuntu安装llama.cpp
第一步安装 NVIDIA 驱动与 CUDA 环境首先要让 Ubuntu 识别并能调用你的 3060 显卡。1.安装驱动sudoubuntu-driversinstallsudoreboot# 重启以生效重启后输入 nvidia-smi。如果看到 3060 的显卡信息说明驱动 OK。2.安装构建工具与 CUDA Toolkitsudoaptupdatesudoaptinstall-ybuild-essential cmakegitlibcurl4-openssl-dev nvidia-cuda-toolkit确认编译器已就绪输入 nvcc --version。第二步编译 llama.cpp (开启 CUDA 支持)这是核心步骤必须开启显卡加速选项。# 1. 克隆代码gitclone https://github.com/ggerganov/llama.cppcdllama.cpp# 2. 配置并构建指定开启 CUDAcmake-Bbuild-DGGML_CUDAON cmake--buildbuild--configRelease-j$(nproc)第三步运行与测试将你的 *.gguf 模型文件放入 models 文件夹。#库文件存在但不在系统库路径里echo/opt/llama.cpp/build/bin/etc/ld.so.conf.d/llama.confldconfigldconfig-p|grepmtmdexportLD_LIBRARY_PATH/opt/llama.cpp/build/bin:$LD_LIBRARY_PATH/opt/llama.cpp/build/bin/llama-server\-m/opt/llama.cpp/models/*.gguf\--port8080\--host0.0.0.0\-ngl33\--ctx-size8192

更多文章