软件详情

FasterTransformer综合评价:谨慎

NVIDIA · 模型部署与训练

英伟达推出的加速库,帮开发者加快大模型在显卡上的推理速度。

免费开源 · Apache-2.0
GitHub 收藏6.5K近 7 天 +1
代码最近更新2024 年 3 月 27 日
许可证开源 · Apache-2.0
要不要花钱免费
还没有人点评,来写第一条看口碑 ↓

专门用来给 BERT、GPT 等模型推理提速。适合有算法开发能力的工程师优化服务。需要通过写代码调用其提供的接口,目前已停止更新并迁移至 TensorRT-LLM。

用起来难吗要写代码在哪用命令行自己部署能用的模型说明里没点名

能做什么

  • 加速大模型推理计算
  • 支持张量与流水线并行计算
  • 提供低精度量化加速选项
  • 支持接入主流深度学习框架

怎么开始

  1. 需要会写代码,先配置好支持的显卡驱动与环境
  2. 下载代码并编译或安装对应的框架扩展模块
  3. 参考示例脚本编写代码并加载模型运行推理

选它,如果你……

  • 你需要维护使用了该旧版加速库的历史项目
  • 你想为 BERT 或早期 GPT 模型寻找底层推理方案
  • 你熟悉代码开发并能在对应显卡服务器上部署

别选,如果你……

  • 你需要一个开箱即用、无需编程的聊天软件
  • 你要开展新项目,官方已建议转向 TensorRT-LLM

怎么用

代码开源,可以免费下载使用。

多少钱、在哪买

免费使用。

用户口碑

还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。

发布软件评论

评分
选填
编辑器加载中…

数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。

FasterTransformer:是什么、要不要花钱、怎么用 | 模真真