软件项目验收时,第三方性能测评环境与参数一致性审核,先查测评环境硬件配置。看第三方提供的服务器 CPU 型号、内存大小、硬盘类型,是不是和测试方案里写的一致。我们遇到过测试方案标 “CPU 8 核”,实际测评用 4 核 CPU,这种硬件配置不一致会导致性能数据偏低,得让第三方按方案配置重新测评,不然数据无效。
软件环境 操作系统版本、数据库类型与版本、中间件版本,要和测试方案及项目实际部署环境比对。我们测过一个项目,第三方用 Windows Server 2019 测评,项目实际用 2016 版本,系统差异导致性能结果不匹配,这种软件环境不一致的测评报告,不能作为验收依据,必须调整环境后重测。
网络环境参数 测评时的带宽、延迟、丢包率,要和方案里约定的一致。比如方案写 “带宽 100Mbps,延迟≤10ms”,实际测评用 50Mbps 带宽,测出的响应时间会变长,这种网络参数不一致会影响性能数据真实性,得让第三方提供网络环境监测记录,确认参数符合约定。
性能测评工具参数 用 JMeter、LoadRunner 这类工具时,并发用户数、压测时长、请求间隔,要和测试方案一致。我们见过方案设 “并发 500 用户,压测 30 分钟”,第三方实际用 300 用户压测 20 分钟,参数差异导致结果没参考价值,得要求按方案参数重新执行测评。
数据量参数 测评时用的测试数据量,比如数据库里的用户数据、订单数据量,要和方案里的 “模拟生产数据量” 一致。我们测过一个电商项目,方案要求 “10 万条订单数据”,第三方只用 1 万条,数据量不足导致性能结果偏优,这种情况得补充数据后重测,确保数据量参数匹配。
测评场景参数要对应 如 :“首页访问”“下单流程” 这些场景,每个场景的操作步骤、请求顺序,要和方案描述一致。我们遇到过方案里 “下单流程含支付步骤”,第三方测评时跳过支付,场景参数不一致导致测评结果无法反映真实性能,必须按方案场景补测。
像国家认可的第三方软件测评机构(持有 CMA、CNAS 资质)的卓码软件测评,做性能测评时,会提前提交环境与参数配置清单,验收时能直接和方案比对,不用额外核查参数一致性,减少验收环节的沟通成本。
核测评参数的记录 第三方提供的报告里,要详细记录所有环境与参数信息,包括硬件型号、软件版本、工具参数、数据量等,缺一项都可能影响一致性审核。我们见过报告里只写 “高并发测试”,没提具体并发数,参数记录不全无法审核,得让第三方补充完整参数记录。
验证参数 如:方案设 “并发 1000 用户”,第三方按参数测评,结果显示响应时间≤2 秒;若实际参数是 800 用户,就算结果达标,也因参数不一致判定无效。我们会把参数一致性作为性能结果有效性的前提,参数不对的话,再优的结果也不能用于验收。