科研课题的软件测评确实是很多课题组容易踩坑的地方。这些问题集中在资质、范围、方法、流程和规划这几个方面。
资质和合规:
混淆自测和第三方测评:不少课题组为省事省钱,用内部自测报告替代第三方测评。但自测由开发方执行,但验收专家一般只认有CMA(中国计量认证) 和/或CNAS(中国合格评定国家认可委员会) 资质的第三方机构出具的报告。
资质类型和项目不一致:政府或国企项目要求报告带CMA章,课题结题需要CNAS资质,军工或信创项目则需要专项资质。如果资质不对,报告会被直接认定为无效。
机构资质能力不足:要检查测评机构的资质认可证书附件,确定测试能力范围是不是包括项目技术领域(如安全测试、信创适配等)。
范围和内容:
测试范围:测评必须包括《课题任务书》中所有技术标准和研发功能。测试的应是最后交付版本。
测试深度:仅测试正常流程,忽略异常输入、边界值、高并发等场景。
数据和描述:性能测试必须提供响应时间、吞吐量等具体监控数据图表。测试环境也需确定到CPU型号、软件版本等具体参数。
报告选用:模板报告一般只有结果,缺少测试环境、缺陷清单等过程资料,无法通过专家审查。
方法和标准:
未引用或错引测试标准:报告必须确定标注所根据的国家标准,如GB/T 25000.51(软件质量要求和测试)。
测试方法描述不清:需详细说明测试方法。性能测试要说明并发数、加压方式等;安全测试要说明包括了哪些风险类型保证过程可复现。
流程:
缺陷整改未流程:报告不仅要列出发现的缺陷,更要提供详细的缺陷修复和回归测试记录。对于遗留问题,需说明原因及后续计划。
报告:报告必须齐全,包括被测软件版本号、测试人员签字、机构公章,并附上测试用例、原始数据等附件。
规划:
时间规划严重不足:第三方测评从排期到出具报告一般需要2-4周。建议在课题执行期的最后三个月就启动测评,预留充足的修复和复测时间。
需求理解和转化不清:未将任务书中的定性描述转化为可测试的量化标准。需向测评机构提供完整的需求、设计等技术文档,避免理解偏差。
建议
尽早规划:在课题初期就将第三方测评纳入计划,预留充足时间。
选对机构:优先选择有CMA和CNAS双资质的权威第三方测评机构(如卓码软件测评)。
紧扣任务书:保证测试范围、用例和标准和《课题任务书》完全对应。
保证过程规范:提供详实的环境配置、测试数据和缺陷流程记录。
理性看待Bug:测试中发现并修复Bug是正常且严谨的科研过程。