CNAS软件测试报告的出具常见问题主要集中在资质合规、报告内容、标准方法、数据结果和流程流程上。
一、资质和合规
资质:政府或国企项目仅提供普通报告,缺少CMA章(国内法律效力的最基础的);而课题结题或国际互认项目,则缺失CNAS章。
超范围使用:测试机构虽有CMA/CNAS证书,但具体测试项目(如安全测试、信创适配等)不在其认可范围内。或CNAS认可已暂停、过期,仍违规使用标识。
资质主体不一致:报告上的机构名称和公章、资质证书上的名称不一致。
建议在选择测试机构时,必须登录CNAS官网或全国认证认可信息公共服务平台(cx.cnca.cn),逐一核对机构资质的有效性及能力范围是不是包括所有测试项目。
二、报告内容
根据CNAS-CL01标准,报告有确定的信息完整性要求,任何缺失都可能导致报告被退回。
基本信息遗漏或不精确:
测试地点:需提供详细地址或唯一的环境标识(如机房编号、AWS区域)。
日期:必须清晰标明样品接收日期、测试实施日期、报告发布日期,日期思路混乱或缺失会影响结果有效性。
样品:缺少软件的名称、版本号、状态(如V2.1.3预发布版)等描述。
报告格式:报告缺少唯一性编号、页码(第X页/共Y页)、报告结束的清晰标识。或报告封面、扉页、主页内容不完整。
标识使用:将CNAS标识用于认可范围之外的测试项目上,或报告未按规定位置加盖CNAS和CMA章。
在报告编制前,建立一份详细的《测试报告信息核对清单》,保证包括标准要求的所有重点。
三、标准和方法
标准引用缺失或错误:未标注所根据的国标、行标编号,或未按照软件测试标准 GB/T 25000.51-2016 。
行业标准未叠加:金融、医疗、政务等行业项目,未叠加相应的行业专项标准,导致和行业验收要求脱节。
测试方法描述模糊:未说明使用的测试工具(如性能测试工具型号)、负载模拟思路、安全测试的包括范围(如是不是按照OWASP Top 10),无法复现测试过程。
在报告中确定、详细地列出所有测试根据的标准全称、编号及版本号,并清晰描述测试方法和工具。
四、数据和结果
测试结果不严谨:使用基本通过、大致符合等模糊词汇。标准结果应为通过、不通过或有条件通过。
测试数据失真或片面:
性能数据:仅平均响应时间,而忽略了更能反映用户真实体验的P95、P99响应时间。
包括率:功能测试包括率100%但实际仅包括了需求文档中的正常场景,缺少异常场景、组合场景的测试。
缺陷分析:仅罗列缺陷数量,缺少按模块分布、严重等级、根因分析的详细说明。
测试环境描述笼统:仅写云服务器、主流浏览器,未确定硬件配置(CPU/内存)、软件版本、网络参数等信息。
结果措辞必须准确;性能测试以P95/P99为重点标准;缺陷分析要深入;测试环境参数需精确到具体版本和配置。
五、流程
成为三无报告:报告无版本号、无测试人员签字、无机构公章。
缺陷整改未流程:仅修复了致命/严重缺陷,忽视了一般/建议类缺陷,且未提供整改措施、回归测试数据及未整改缺陷的说明。
报告和原始记录两张皮:报告中的数据和测试原始记录不一致。
报告存档和更正不规范:报告副本未按规定保存(一般不少于6年),或报告更正时未保留原报告和更正记录。
建立严格的报告审核流程,保证报告内容和原始记录一致;所有缺陷必须完成整改流程并记录在案;报告修改需按照标准作业程序。
一份CNAS软件测试报告,建议和测试机构充分沟通,确定各项要求并对照以上常见问题进行自查,可以有效避免验收时被驳回的风险。