软件详情

Llama.cpp综合评价:不错

ggml-org · 模型部署与训练

在多种硬件上本地运行大语言模型的高性能工具。

免费开源 · MIT
GitHub 收藏133.9K近 7 天 +647
代码最近更新2026 年 11 月 10 日
许可证开源 · MIT
要不要花钱免费
还没有人点评,来写第一条看口碑 ↓

能在电脑本地运行大语言模型和视觉模型,支持模型压缩和硬件混合加速。适合有技术基础的开发者。可以通过下载预编译文件、容器或编译源码自己部署使用。

用起来难吗要自己部署在哪用命令行网页自己部署Android能用的模型说明里没点名能用自己电脑上的模型

能做什么

  • 本地运行大语言模型与视觉模型
  • 压缩模型以大幅减少内存占用
  • 混合使用显卡和处理器加速运行
  • 开启本地服务并使用自带网页界面

怎么开始

  1. 需要会使用命令行或自己在电脑上部署运行。
  2. 从发布页面下载对应系统的预编译运行文件。
  3. 运行服务命令后打开自带网页界面加载模型体验。

选它,如果你……

  • 你想在自己的电脑硬件上直接本地运行大模型。
  • 你需要把大模型压缩量化以节省设备内存。
  • 你希望在显存不足时混合调用处理器一起加速。

别选,如果你……

  • 你完全不会使用命令行也不想自己动手部署。
  • 你只想找开箱即用、打开就能聊天的现成软件。

怎么用

代码开源,可以免费下载使用。

多少钱、在哪买

免费使用。

用户口碑

还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。

发布软件评论

评分
选填
编辑器加载中…

数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。