第一步:申请并获得CNAS认可
标准:主要根据 ISO/IEC 17025《检测和校准实验室能力的通用要求》,以及专用要求 CNAS-CL01-A019《检测和校准实验室能力认可标准在软件检测领域的应用说明》。
范围:在申请时,必须确定将软件性能测试相关的检测对象、项目/参数和标准纳入《实验室认可申请书》。如:检测对象是软件产品,项目是性能效率,标准是GB/T 25000.51。
第二步:确定测试依据标准
CNAS报告必须根据确定、公认的测试标准。软件性能测试最常用的是:
GB/T 25000.51-2016《系统和软件工程 系统和软件质量要求和评价(SQuaRE) 第51部分:就绪可用软件产品的质量要求和测试细则》,其中性能效率特性直接定义了时间特性、资源利用性、容量等特性。
其他可选标准:GB/T 16260系列(已转标)、行业特定标准(如JR/T 金融标准)等。
测试前需和客户完成合同评审,确定性能需求标准(如平均响应时间<2秒、并发用户数≥1000等),这将成为判断通过/不通过的标准。
第三步:执行标准化的测试流程
CNAS认可是技术能力和过程可追溯的。整个测试流程:
合同评审:确定客户需求和测试标准是清晰、可行的。
测试方案设计:需要结合标准和业务场景完成。
性能场景建模:设计单业务负载、混合业务负载、峰值负载等。
监控标准确定:定义要采集的服务端标准(CPU、内存、IO、网络)、客户端标准(响应时间、吞吐量、成功率)等。
工具和环境确定:测试工具(如JMeter、LoadRunner)需要经过证实/确定,保证其采集数据的准确性,并保留确定记录。
测试执行和记录:
严格按方案执行测试。
完整记录原始数据:包括测试环境拓扑图、所有软硬件详细配置和版本、网络情况、测试工具的配置参数、原始结果日志、监控截图、脚本等。所有原始记录必须清晰、可追溯,不可随意涂改。
数据分析和报告编制:
对原始数据进行处理、分析,形成图表和结果。
方法证实:如果是使用非标准方法或实验室自己开发的方法,需要进行严格的方法确定。
第四步:编制符合CNAS要求的测试报告
报告内容在标准中有严格规定。根据CNAS-CL01和A019应用说明,一份合格的软件性能测试报告至少必须包含:
报告通用信息:
报告标题(如软件性能测试报告)。
实验室名称、地址、联系方式。
报告的唯一性标识(如报告编号)和每页标识,以及总页数。
客户的名称和地址。
测试样品(被测软件)的描述:名称、版本号、唯一性标识。
样品接收日期和测试实施日期。
测试根据的标准和/或方法。
测试环境信息:这是性能报告的重点,需详尽列出服务器、客户机、网络、数据库的软硬件配置及重点参数设置。
使用的测试工具:名称、版本号。
测试结果:这是报告重要。
必须有数据和单位。
以清晰图表展示各项性能标准的实测值。
确定给出各项标准的决定(是不是符合需求)。
测量不确定度:在软件性能测试中,一般很难直接评定。根据CNAS要求,实验室应能识别并考虑不确定度的来源,如果无法评定,需在报告中说明理由。
偏离说明:如果任何测试步骤有偏离标准或合同的情况,必须说明。
结果和声明:确定测试结果。必须包含“本报告仅对被测样品负责”的标准声明。
批准人信息:必须有CNAS认可的授权签字人签字或其等效标识。该授权签字人的签字领域必须包含软件性能测试。