大模型上线生产之前，必须先回答三个问题：时延多少、容量多少、跑完一次业务花多少钱。源启大模型与智能体评测平台（下称“模型评测平台”）的做法很直接：回放客户自己的真实业务报文，分钟级发起完整压测。
通用跑分回答“模型快不快”，业务压测回答“系统能扛多少人”
模型评测平台是中电金信“金融信息技术应用中试平台”工具链之一，该平台集成了GuideLLM、EvalScope等业内主流开源基准压测工具，首字时延、逐字速度、整体吞吐等指标仅需几分钟即可全部得出，为压测提供了扎实的基础能力支撑。
图1：通用基准负载与真实业务链路的差距：路径长度与负载结构不同，结论就不通用
但这些通用基准测的是“模型本身快不快”：每次只喂一句短问题，或模拟很多人同时发长消息，场景固定。真实业务要复杂得多——一次完整对话由十几步、上百次交互串成，每步负载差别很大，中间还要经过业务后端、网关等一长串环节。开源工具的分数只说明模型这个“发动机”的转速，说明不了整车在真实路况下能承载多少人。跑分漂亮、上线水土不服，是行业常态。
表1：与开源基准压测工具的能力对照
大模型容量曲线是非线性的，临界点比峰值更关键
传统IT扩容近似线性，大模型推理不同。并发上升后，缓存争用、排队与抢占一起恶化；越过临界点，时延从缓升转为断崖式跳升——前一天正常，第二天全员不可用。
图2：并发—时延曲线示意：容量规划要的不是峰值，而是临界点在哪、该留多少余量（示意图）
不少业务方在正式上线前，都无法明确“当前硬件能支撑多少并发”。我们可以拿一个模型评测平台的真实项目举例：该项目初始状态下，8卡单副本的基线仅能支撑个位数的并发。经过逐层排查后发现，共有五处问题根因，分别出在提示词、上下文注入、引擎参数、网关策略与启动参数环节，没有一处问题需要更换模型。完成调优后，相同硬件配置可以支撑20人高频使用。容量规划本就是大模型上线前的必经环节，这套平台与方法，目前已经在某大型集团和某头部农商行的真实业务中落地跑通。
压测脚本必须高仿真回放，否则数字没有参考价值
光有通用跑分远远不够。模型评测平台真正下功夫的，是抓取并回放客户自己的真实业务报文，要过三道工序：
第一道，采集真实报文。让单个用户跑通一次真实业务，从网关侧抓下报文序列。主流业务系统报文规范统一，角色、工具与内容结构清晰可解析，报文天然可回放建模。
第二道，高仿真回放。原封不动顺序重放最省事，但会让大模型直接命中缓存、跳过真实计算，压出来的数字漂亮却毫无意义。平台在回放时叠加三重扰动——内容、顺序、节奏同时还原，缺一项，曲线就不符合生产情况。
图3：高仿真回放的三重扰动：内容、顺序、节奏同时还原，缺一项，压出来的曲线就不像生产
第三道，一致性校验。判据只有一条：回放的缓存命中率、首字时延与端到端耗时曲线，是否与真实生产趋势一致。平台按并发档位交叉比对、校准脚本，直到曲线对齐。
容量靠显存预算反推，先算收益再用压测验证
以vLLM为例，模型启动后输出三个关键参数：可用显存空间、可存储的KV容量、最大序列长度。显存去向分五块：权重、系统开销、KV Cache、投机解码、prefill与激活峰值。决定并发上限的，是扣完这五块后留给KV Cache的剩余空间。
图4：显存预算构成与并发上限的关系
发起压测前，模型评测平台先沿推导链把并发上限算出来。反过来就是调优方法：块大小、显存池比例、批处理Token数，每改一个参数，理论并发立刻重算，先算收益，再用压测验证。调优主线有两条：计算与存储分离，把各卡KV Cache整合成统一资源池；并行化，调整TP与DP组合，模型较小时以多副本部署换更高并发。响应速度与并发天然互斥，平台针对集中考试、编码辅助、工艺文档生成等场景，权衡“可接受时延”与“目标并发”。
表2：并发上限推导链（满长上下文部署示例）
四步发起，分钟级完成压测
模型评测平台发起一次压测只需要四步：
图5：发起压测的四步操作
选场景：内置多套真实业务模板（完整业务流程、编码辅助、文档生成等），也支持按客户场景扩展。
配模型：填服务地址与鉴权信息即可接入，支持不同厂商与部署形态。
设并发，点发起：勾选场景、设好并发档位，一键发起，分钟级开始压测。
看结果：看板呈现关键指标、瓶颈定位（在显存、调度还是网关）与参数对比，长期沉淀不同硬件、模型、场景的“黄金配比”。
无论你在哪个阶段，都能从一次压测开始
如果客户仍在为“选什么显卡、挑什么模型”犹豫不决，可以带着业务场景来到中试基地。目前异构算力池与三大实体基地均已准备就绪，中电金信将协助客户对不同“硬件×模型”组合开展实地测试，用数据确定选型方向。
如果企业已经搭建好自有算力、模型与业务体系，也可以将模型评测平台部署到企业现场。模型会持续迭代升级，流量会动态波动，容量也会缓慢劣化，中电金信帮您把调试、验证与回归测试变成日常工作，让系统在每一次版本迭代后都能保持稳定运行。
源启大模型与智能体评测平台，面向行业企业与政企客户、模型厂商与MaaS平台、算力与硬件厂商开放。公司将持续打磨产品能力，把真实业务压测做深做透，为企业大模型规模化落地提供可信赖的容量验证底座。