软件详情

GuideLLM综合评价:不错

vllm-project · 评测与监控

测试大模型服务在真实压力下的响应速度和承载能力。

免费开源 · Apache-2.0
GitHub 收藏1.8K
代码最近更新2026 年 11 月 10 日
许可证开源 · Apache-2.0
要不要花钱免费
还没有人点评,来写第一条看口碑 ↓

主要模拟真实请求对大模型服务进行压力测试,统计响应延迟与吞吐表现,并导出详细分析报告。适合负责模型上线和运维的工程人员。需要在终端通过命令行安装或部署运行。

用起来难吗要写代码在哪用macOSLinux命令行自己部署能用的模型说明里没点名能用自己电脑上的模型能填中转站的地址和 Key

能做什么

  • 模拟真实并发与不同速率的访问压力
  • 统计首字延迟与生成速度等详细指标
  • 支持多模态数据与自定义测试数据集
  • 生成表格图表与网页格式的测试报告

怎么开始

  1. 需要会用命令行,准备好指定版本的编程环境
  2. 安装测试工具并启动兼容格式的大模型服务
  3. 运行评测指令并在结束后查看生成的报告文件

选它,如果你……

  • 你想测试自己部署的大模型服务的承载上限
  • 你需要模拟不同业务流量来排查响应延迟问题
  • 你想对比各种参数配置并导出详细分析图表

别选,如果你……

  • 你不会使用终端命令行操作
  • 你只想直接找个做好的软件和大模型聊天

怎么用

代码开源,可以免费下载使用。

多少钱、在哪买

免费使用。

用户口碑

还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。

发布软件评论

评分
选填
编辑器加载中…

数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。

GuideLLM:是什么、要不要花钱、怎么用 | 模真真