AIGC应用上线前的多模态模型测评和纯文本模型的差别是：风险不再局限于语言方面，而是嵌入跨模态对齐、模态间冲突、以及视觉/音频通道的对抗攻击面之中。

一、基础多模态能力测评先确定能不能用

视觉理解和推理。 区分感知和推理两个方面：MMBench / MMStar 包括细粒度感知，MMMU / MMMU-Pro 考察专业级多模态推理。2026 年多个经典标准已进入饱和区（如 DocVQA、ChartQA 高分密集在 92–96%），单纯看绝对分数已难以区分模型，应优先选用仍有区分度的变体（MMMU-Pro、HallusionBench、MathVision）或自建业务场景测试集。

视频和音频理解。 如果应用涉及视频或音频，需单独测评时序理解和跨模态整合。Video-MME、MVBench 考察长短视频时序理解，LongShOTBench、MMOU、MAVERIX 则要求视觉、语音、环境音三者的联合推理。标准是答案准确率，还应包括证据定位质量：EvaOmni 提出的 Coverage Grounded Score（证据包括率）和 Bottleneck Grounded Score（时序定位惩罚）能揭示模型是不是真正根据音视频证据作答，而不是依赖文本捷径或单模态猜对。

生成质量（如果含生成能力）。 文生图/文生视频场景需考虑对齐性、文本渲染、风格一致性和跨帧连贯性。OneIG-Benchmark 将文生图测评组织为对齐性、文本渲染、推理能力、风格表现、多样性五个方面，可作为生成质量测评的参照框架。生成视频还需额外检查跨片段连贯性和场景保真度。

二、幻觉和事实一致性

跨模态冲突下的行为。 CMC-Bench 系统测评了多模态 RAG 在图文证据矛盾时的表现，发现模型普遍表现出模态偏好而不是可靠仲裁：文本偏好型系统在图像正确、文本错误时尤其脆弱；冲突条件下准确率相对对齐条件下降0.17–0.46。上线测评应构造图文冲突、时序冲突、粒度冲突等测试用例，观察模型是拒绝、澄清还是编造。

区分弃答和编造。CMC-Bench发现，Qwen3-VL-4B在冲突中弃答31.7%，而Gemma-3n-E2B编造无根据答案的比例高达51.9%；将两者合并为一个幻觉分数会掩盖完全不同的失败方式。测评报告应分别统计有据拒答率和无据生成率。

模态间幻觉的成因诊断。 CMM标准揭示了多模态幻觉的两个主要来源：对单模态先验的过度依赖，以及模态间的虚假相关；模态整合不均衡和训练数据偏差是底层诱因。测评时不应只看有没有幻觉，还应定位幻觉来自哪个模态通道，以指导后续的数据配比或对齐方法调整。

视频场景的可信度综合测评。 Trust-videoLLMs将视频LLM的可信度拆为真实性、鲁棒性、安全性、公平性、隐私五个方面，发现动态场景理解和跨模态扰动抵御是当前模型的系统性短板。如果应用涉及视频，建议以该框架为参考建立多维可信度画像，而不是仅测准确率。

三、安全测评静态标准不够，必须以对抗测试为准

静态标准会系统性高估安全性。 复旦等机构2026年的联合安全报告包括 30 种黑盒越狱攻击，发现在真实越狱攻击下，即使是表现最好的模型，最坏情况安全率也仅约 6%，多数模型接近 0%。这意味着上线前如果只跑标准安全标准（如 ALERT、Flames、BBQ），安全结果几乎不可用。

多模态对抗攻击面更宽。 攻击不仅通过文本提示实施，还可嵌入图像、视频帧或音频中。测评包括角色扮演和权限升级模板、视觉接地攻击上下文、语义伪装、代码混淆、长程多轮诱导。不同模型的脆弱点分布高度不均匀：某模型可能在 MM-SafetyBench上安全率达 90%+，但在VLJailbreakBench上骤降至 40–60%，说明安全机制可能只包括了部分攻击形态。

安全测评还需包括多语言和跨模态一致性。 安全机制在跨语种环境下可能失效；同一有害意图用不同语言、不同模态组合表达时，拦截效果可能显著不同。建议以micro-F1或分攻击类型的安全率作为标准，避免总体准确率掩盖特定攻击类型上的崩溃。

四、鲁棒和边界行为

多模态应用的输入分布远比文本开放，鲁棒性测评需要主动制造不友好但合理的输入：

模态质量退化：图像模糊/低分辨率/遮挡、音频噪声/混响、视频丢帧/压缩伪影，观察性能衰减曲线是不是在可接受范围内；

跨模态扰动：对某一模态施加扰动（如替换图像但保持文本不变），检查输出是不是异常翻转或产生幻觉；

模态缺失和不完整输入：仅提供部分模态时的降级方法是不是确定，是不是会编造缺失信息；

上下文长度压力：长视频、长文档、多轮对话场景下，多模态上下文增长对可靠性的影响应显式纳入测评，并采用对冗长度不敏感的标准。

五、合规测评和上线流程推进

在中国境内面向公众提供具有舆论属性或社会动员能力的生成式AI服务，测评需和备案流程对齐。

安全考虑对标 GB/T 45654-2025。 生成式 AI 服务需对照该标准开展安全考虑，包括数据合规、内容安全、技术安全，产出安全考虑报告，这是大模型备案的必备材料。

拒答能力是备案技术测试的标准。 备案要求敏感问题拒答率不低于 95%；考虑测试题集一般要求生成内容测试题不少于 2000 题、拒答测试题不少于 500 题，抽检合格率不低于 90%。拦截重点词列表一般要求包括 17 类安全风险、总量至少 10000 个。多模态场景还需注意：拒答能力是不是在图像输入、音频输入、图文组合输入下同样有效，不能只测纯文本通道。

内容标识双轨制需在产品层落地并纳入测评。 显式标识（用户可感知的 AI 生成提示）和隐式标识（文件元数据中的生成属性、服务商编码、内容编号）均为强制要求，测评应测试生成内容在下载、复制、导出后标识是不是仍然存在且可溯源。

算法备案和大模型备案是独立要求。 涉及深度合成等特定算法的服务需另行完成算法备案，周期约2–3个月；大模型备案周期普遍6–8个月，应提前规划，避免测评通过但备案未完成导致上线延迟。

六、工程效率和部署可行性

功能和安全达标后，还需确定模型在目的硬件和延迟约束下可运行。多模态推理的效率短板和纯文本不同，视觉编码器、视频帧采样和跨模态注意力会显著拉长首 token 时间（TTFT）。测评应记录 TTFT、TPS、端到端延迟和 P95 延迟，并在目的部署硬件上实测。视频场景还需重视帧采样方法对精度和延迟的权衡-同一模型在不同帧数配置下可能表现出截然不同的可用性。

七、上线前测评的建议

分层推进，不要试图一次包括所有方面。 建议按以下顺序组织：

能力基线层：用1–2个仍有区分度的公开标准（如 MMMU-Pro）+ 自建业务测试集，确定重要场景可用性；

可信性层：构造跨模态冲突用例，分别统计弃答率和编造率；对涉及视频/音频的应用，参照 Trust-videoLLMs 五维框架建立可信度画像；

安全对抗层：以至少 10–15 种真实越狱攻击方法进行黑盒红队测试，不以静态安全标准的分数作为上线根据；

合规硬规则层：按备案要求准备拒答测试集（≥500 题）和生成内容测试集（≥2000 题），敏感拒答率目的 ≥95%；

上线后不断监测：多模态模型的对抗脆弱性具有高度场景依赖性，上线前测评是基线而不是终点，应保留可复测的测试集和监测机制，在新攻击形态出现后定期回归。

多模态测评的很多失败不是答错，而是答对但根据错误-模型可能靠文本捷径或单模态先验猜中答案，却在真实跨模态推理场景中失效。凡是条件允许，测评应要求模型同时输出支撑证据或定位区间，不仅看答案。这比单纯追求标准分数更能反映上线后的风险。