软件详情

AirLLM综合评价:不错

lyogavin · 模型部署与训练

让普通小显卡也能运行或训练超大语言模型的代码工具。

免费开源 · Apache-2.0
GitHub 收藏42.1K近 7 天 +443
代码最近更新2026 年 11 月 9 日
许可证开源 · Apache-2.0
要不要花钱免费
还没有人点评,来写第一条看口碑 ↓

通过分层加载大幅降低显存占用,让几 GB 显存的显卡也能跑动或微调大模型。适合有编程基础且本地显存有限的开发者。需要写代码调用并安装环境使用。

用起来难吗要写代码在哪用macOS命令行能用的模型Llama通义千问DeepSeekKimiMistralGemma能用自己电脑上的模型

能做什么

  • 在小显卡上运行超大模型
  • 分层按需载入显存
  • 在小显卡上进行模型微调训练
  • 按块量化压缩加速读取
  • 支持无独显纯用处理器运行

怎么开始

  1. 需要会写代码,先安装依赖包
  2. 准备好有充足空间的硬盘存放分层模型
  3. 编写脚本载入模型并调用推理或训练

选它,如果你……

  • 你的显卡显存很小但想跑百亿甚至千亿大模型
  • 你习惯用写代码的方式调用模型推理或训练
  • 你的本地硬盘预留了足够存放模型分片的空间

别选,如果你……

  • 你想直接打开网页或点开软件聊天
  • 你的电脑剩余硬盘空间非常紧张

怎么用

代码开源,可以免费下载使用。

多少钱、在哪买

免费使用。

用户口碑

还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。

发布软件评论

评分
选填
编辑器加载中…

数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。