
GitHub 收藏27K近 7 天 +240
代码最近更新2026 年 11 月 10 日
许可证开源 · MIT
要不要花钱免费
主要用于自动化测试提示词、扫描安全漏洞并对比不同大模型的效果。适合大模型应用开发者使用。通过命令行安装并配置模型密钥后,即可在本地运行评测。
能做什么
- 自动化评测提示词与模型表现
- 扫描大模型应用的安全与合规漏洞
- 横向对比不同大模型的效果
- 在代码开发与集成流程中自动检查
怎么开始
- 需要会用命令行,通过包管理器安装命令行工具
- 配置待测试的模型接口密钥与评测规则
- 在终端执行评测命令并查看分析报告
选它,如果你……
- 你要对比 GPT、Claude 等模型的提示词效果
- 你要对大模型应用做安全渗透测试与漏洞扫描
- 你想在日常开发流程中自动评测模型质量
别选,如果你……
- 你不会使用命令行和配置文件
- 你只想找开箱即用的日常对话聊天软件
怎么用
代码开源,可以免费下载使用。
多少钱、在哪买
免费使用。
看看它的样子
综合评价
不错还在更新,问题处理一般
- 更新很活跃近 90 天改代码 1,335 次;最近一次发版是 16 天前(0.125.1)
- 问题处理一般近 90 天新开 106 个问题,解决了 61 个,一般 5.6 天解决;外部提交的修改合进 1,259 个,待处理 795 个
- 用的人多GitHub 收藏 2.7 万,近 7 天新增 240;390 人参与开发
- 用户口碑暂不计用户评价满 5 条后才算进来
数字取自 GitHub 的公开记录(2026/11/10), 用户评价来自本页口碑。自己核对:项目主页、问题、外部提交的修改、发版记录。
怎么评的
只看公开、能核对的数据,不打分数,只给四档结论,每一项的依据都写在旁边。
- 更新:近 90 天改了多少次代码、最近一次发版是哪天。7 天内有改动并且改得多或常发版,算「很活跃」;30 天内有改动算「活跃」;半年内算「放缓」;半年以上没动或者已经归档,算「停更」。
- 问题处理:近 90 天新开的问题解决了几成、一般几天解决、外部提交的修改积压了多少。解决八成以上、一般一周内解决、积压不比合进去的多,算「好」;解决不到一半算「差」;其余算「一般」。新问题不到 10 个的不评。
- 用的人:GitHub 收藏 5 万以上算很多,1 万以上算多,1 千以上算一般。旁边写近 7 天新增多少、多少人参与开发。
- 用户口碑:用户评价满 5 条才算进来(注册不满 7 天的账号不算);平均分在 2.5 分及以下,总评降一档。
- 总评四档:还在更新、问题处理好、用的人多 → 推荐;还在更新 → 不错;更新放缓或问题处理差 → 一般;半年以上没更新 → 谨慎。许可证有附加条件、商用受限的,单独提醒,不影响总评。
- 收费软件(ChatGPT、Cursor 这类)没有公开的问题记录,就看 App Store:最近一次更新在 30 天内算「活跃」,半年内算「放缓」,半年以上算「停更」;打分人数 10 万以上算很多,1 万以上算多,1 千以上算一般;评分 4 分以上算好,2.5 分及以下算差,打分不到 100 人不评。再加上用户评价。
收藏数能刷,所以只占一项;更新和问题处理很难刷。数据每天更新,超过两周没更新的不评。
最近更新和热度
- 0.125.1
- 0.125.0
评测新增安全模式与稳定性报告,支持 Gemini 媒体模型,刷新界面
- code-scan-action-0.2.2
修复了安装命令行工具后的 OIDC 认证问题
GitHub 收藏
27,004 次净增 +1,0942026/10/12—2026/11/102026/11/10 · 27,004 次
查看每日记录
| 日期 | GitHub 收藏(次) |
|---|---|
| 2026/10/12 | 25,910 |
| 2026/10/13 | 25,951 |
| 2026/10/14 | 25,963 |
| 2026/10/15 | 26,001 |
| 2026/10/16 | 26,031 |
| 2026/10/17 | 26,072 |
| 2026/10/18 | 26,097 |
| 2026/10/19 | 26,125 |
| 2026/10/20 | 26,164 |
| 2026/10/21 | 26,214 |
| 2026/10/22 | 26,252 |
| 2026/10/23 | 26,318 |
| 2026/10/24 | 26,358 |
| 2026/10/25 | 26,395 |
| 2026/10/26 | 26,430 |
| 2026/10/27 | 26,479 |
| 2026/10/28 | 26,525 |
| 2026/10/29 | 26,567 |
| 2026/10/30 | 26,609 |
| 2026/10/31 | 26,659 |
| 2026/11/01 | 26,683 |
| 2026/11/02 | 26,720 |
| 2026/11/03 | 26,764 |
| 2026/11/04 | 26,809 |
| 2026/11/05 | 26,858 |
| 2026/11/06 | 26,887 |
| 2026/11/07 | 26,918 |
| 2026/11/08 | 26,945 |
| 2026/11/09 | 26,976 |
| 2026/11/10 | 27,004 |
能替代它的
标出的是和 Promptfoo 不一样的地方
Lm Evaluation Harness综合评价:一般偏重学术公开基准跑分,对比底层模型性能还没人评 · 70 天前更新
Ragas综合评价:谨慎专注用客观量化指标检查应用的输出质量还没人评 · 300 天前更新
Opik综合评价:不错偏向平台化运行监控,记录调用链路并打分还没人评 · 4 天前更新
| 软件 | 起步价 | 难不难用 | 中文 | 开源 | 口碑 | 最近更新 |
|---|---|---|---|---|---|---|
| Promptfoo | 免费 | 要写代码 | 没写明 | 开源 | 还没人评 | 16 天前 |
| Lm Evaluation Harness | 免费 | 要写代码 | 没写明 | 开源 | 还没人评 | 70 天前 |
| Ragas | 免费 | 要写代码 | 没写明 | 开源 | 还没人评 | 300 天前 |
| Opik | 免费 | 要写代码 | 没写明 | 开源 | 还没人评 | 4 天前 |
逐项对比Promptfoo 对
| Promptfoo | Lm Evaluation Harness | |
|---|---|---|
| 起步价 | 免费 | 免费 |
| 难不难用 | 要写代码 | 要写代码 |
| 中文 | 没写明 | 没写明 |
| 开源 | 开源 | 开源 |
| 口碑 | 还没人评 | 还没人评 |
| 最近更新 | 16 天前 | 70 天前 |
标黄的是两款不一样的地方
用户口碑
还没有人点评。用过的话,写下第一条真实体验,帮后来的人少踩坑。
数据来源:GitHub,每天更新,更新时间 2026 年 11 月 10 日。 信息有误?告诉我们。
发布软件评论