传统安卓自动化测试依赖脚本化工具,存在维护成本高、动态界面适应性差、功能性缺陷难以自动决定等问题。大语言模型(LLM)有语义理解、推理规划和代码生成能力,可作为智能增强层嵌入测试活动。
安卓应用界面状态空间大、交互途径复杂、版本迭代频繁,根据控件ID和固定脚本的传统自动化测试难以适应界面变化。随机探索式测试虽能发现崩溃,但缺乏功能语义理解,包括率和缺陷发现效率有限。LLM可理解自然语言测试意图,结合截图和UI层级信息进行推理,生成操作序列、断言或脚本。
二、四类测试
自然语言驱动执行:以自然语言描述用例,由LLM转化为设备操作序列并执行,减少脚本编写。LELANTE通过屏幕信息精炼和思维链推理生成行动计划,报告成功率约73%。
智能GUI探索:将LLM语义理解注入探索式测试,识别功能区域并生成定向方法。GPT-Monkey通过功能分割提升崩溃检测率约16.7%;GraphDroid引入意图驱动和记忆机制,在包括率和成本间取得平衡。
测试预言自动生成:针对不导致崩溃的功能性缺陷,利用LLM从缺陷报告和GUI信息中推理预期结果并生成断言。AndroB2O在真实故障案例中以约61.2%的比例识别出故障。
视觉智能体测试:结合多模态视觉模型理解屏幕,以语义方式定位元素,并在控件定位失败时回退至视觉分析。Vision Agent采用捕获-分析-决定-执行流程;Appium MCP将LLM能力嵌入既有Appium生态,支持自然语言生成测试代码或工作流。
四类范式分别包括意图表达、探索方法、结果决定和元素定位,可在同一体系中组合使用。
三、代表框架
LELANTE消除脚本编写步骤,适用于测试意图确定但脚本维护成本高的情形。GPT-Monkey不同功能分割和定向探索;GraphDroid强调意图驱动和记忆管理,对复杂意图调用LLM、简单意图采用启发式规则,在41个真实应用上取得较纯LLM基线更高的代码包括率,成本显著降低。AndroB2O聚焦测试预言,以缺陷报告和截图生成证实断言。Vision Agent通过视觉回退提升定位鲁棒性;Appium MCP偏向工程实践,将自然语言交互引入Appium资产生成。LLM更现实的定位是增强有测试基础设施,不是完全替代成熟工具链。
四、工作流程
流程为输入准备-上下文增强-推理规划-执行反馈-结果决定。输入可为自然语言用例、缺陷报告或待探索应用;上下文一般包括截图、UI层级树和控件语义信息,部分框架对屏幕信息精炼以控制输入规模。LLM输出具体动作、高层意图或断言代码,经ADB、UIAutomator2等通道执行,执行后捕获新状态作为反馈,形成迭代流程。结果决定根据LLM断言或视觉分析完成。流程反馈可降低单次生成错误的影响。
五、建议
成本和延迟:逐步调用多模态模型成本较高。宜采用混合方法,复杂决定交由LLM,简单操作用启发式规则;可探索模型蒸馏。
可靠性:LLM可能生成无效操作。应引入流程证实和自愈机制,如定位失败时回退视觉识别,操作后截图证实并重新规划。
上下文限制:长序列可能超出窗口。应设计记忆管理,仅提供和当前决定相关的历史摘要。
测试资产转化:探索产生的操作序列具有临时性,应将成功途径固化为可重复脚本并纳入不断集成,实现从智能探索到稳定回归的过渡。
LLM在安卓测试中的作用是语义理解、推理规划和代码生成,可弥补脚本化测试在动态界面适应、复杂交互包括和功能性缺陷决定方面的不足。四类范式和代表性框架表示,务实定位是测试基础设施的智能增强层。成本控制、可靠性保障和测试资产沉淀是重点。