综合
企业大模型压测,需要重点关注哪些指标?
掘金0 views
很多团队第一次给大模型做压测,都容易陷入一个误区:堆并发、刷 QPS,把吞吐量顶得老高,以为数据好看就算通过。可真到生产环境一跑,问题全冒出来 —— 高峰一冲就超时,成本莫名其妙翻倍,模型还时不时给点
Source:https://juejin.cn/post/7703381509638897679PreviousPython 智能体开发实战 10:本地跑得好好的,一并发就崩?把它做成一个能上线的服务NextPython 智能体开发实战 09:改了提示词,到底是变好还是变坏?搭一套能打分的离线评测