软件详情

Serving综合评价:不错

tensorflow · 模型部署与训练

把训练好的机器学习模型部署上线并提供调用的服务系统。

免费开源 · Apache-2.0
GitHub 收藏6.4K
代码最近更新2026 年 11 月 10 日
许可证开源 · Apache-2.0
要不要花钱免费
还没有人点评,来写第一条看口碑 ↓

主要用于把训练好的模型部署上线,对外提供低延迟接口,并管理多模型版本与灰度测试。适合需要上线模型的开发者使用。通常需要自己在服务器上通过容器部署运行。

用起来难吗要自己部署在哪用自己部署命令行能用的模型说明里没点名

能做什么

  • 同时部署多个模型或同一模型多版本
  • 提供 HTTP 与 gRPC 调用接口
  • 支持无感更新模型版本
  • 支持模型灰度发布与 A/B 测试
  • 自动合并请求进行 GPU 批量推理

怎么开始

  1. 需要懂服务器部署,先准备好容器运行环境
  2. 将训练好的模型导出为 SavedModel 格式
  3. 运行部署命令并通过接口发送推理请求

选它,如果你……

  • 你需要把训练好的模型上线并提供调用接口
  • 你需要对模型做灰度发布、测试或多版本管理
  • 你希望自动合并请求进行批量推理来降低延迟

别选,如果你……

  • 你不会在服务器上部署和配置运行程序
  • 你只是想要一个拿来即用的大模型聊天软件

怎么用

代码开源,可以免费下载使用。

多少钱、在哪买

免费使用。

用户口碑

还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。

发布软件评论

评分
选填
编辑器加载中…

数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。

Serving:是什么、要不要花钱、怎么用 | 模真真