软件详情

Vllm Ascend综合评价:不错

vllm-project · 模型部署与训练

让 vLLM 推理框架在华为昇腾芯片上跑大模型的硬件插件。

免费开源 · Apache-2.0
GitHub 收藏3.1K
代码最近更新2026 年 11 月 10 日
许可证开源 · Apache-2.0
要不要花钱免费
还没有人点评,来写第一条看口碑 ↓

主要用于让开源大模型在华为昇腾 NPU 硬件上顺畅运行推理,支持混合专家、向量嵌入和多模态等模型。适合在华为昇腾服务器上部署大模型的技术人员。需要在 Linux 服务器上自己部署并写代码或配置环境使用。

用起来难吗要自己部署在哪用Linux自己部署能用的模型说明里没点名

能做什么

  • 在华为昇腾芯片上运行 vLLM
  • 支持混合专家大模型部署
  • 支持运行多模态大模型
  • 支持向量嵌入模型推理

怎么开始

  1. 要会自己在服务器上部署并准备好昇腾硬件
  2. 在 Linux 环境安装匹配的 CANN 和 PyTorch
  3. 安装 vLLM 与对应的昇腾硬件插件并启动

选它,如果你……

  • 你手头有华为昇腾系列的服务器硬件
  • 你想用 vLLM 框架在国产芯片上部署大模型
  • 你需要部署混合专家或多模态等开源大模型

别选,如果你……

  • 你没有华为昇腾 NPU 硬件或相关算力资源
  • 你只想直接安装软件聊天而不想折腾服务器部署

怎么用

代码开源,可以免费下载使用。

多少钱、在哪买

免费使用。

用户口碑

还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。

发布软件评论

评分
选填
编辑器加载中…

数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。