传统的软件测试面临着不同的挑战，例如扩展、维护复杂的测试脚本以及跨各种浏览器、设备和平台验证 UI 方面。它非常耗时、容易出错，并且无法跟上快速的发布周期或不断增长的软件复杂性。

　　软件测试中的视觉人工智能通过自动全屏验证、减少手动工作以及适应 UI 变化来解决这个问题。它可大规模确保功能和视觉准确性，从而节省时间并实现更快的高质量发布。

　　在本文章中，我们将介绍视觉 AI 以及如何将其用于软件测试。

　　一、什么是视觉人工智能?

　　视觉人工智能是计算机科学的一门学科，其中人工智能技术应用于视觉元素以实现更好的决策。视觉人工智能背后的主要目标是应用与人类相同的智能水平，并以比“算法”方式更“人性化”的方式做出决策。这样，我们就可以消除人为干预，创建一个完全自主且可靠的系统。

　　测试平台中视觉人工智能的一个很好的例子是自动检测上传的代码或屏幕截图中的敏感信息。测试人员可能会在不知情的情况下上传专有代码或机密数据，例如 API 密钥。视觉人工智能可以快速扫描这些上传内容，标记任何敏感内容或安全风险。它消除了手动审查的需要，提高了安全性，并通过在潜在问题出现之前预防它们来加快测试过程。

　　二、视觉人工智能如何帮助软件测试?

　　视觉人工智能可以在很多领域为软件测试带来好处。下面讨论一些关键领域：

　　视觉回归测试：每周都会有很多进行 UI 更改的案例。这就是 UI 开发团队的职责所在。因此，视觉回归测试经常中断，需要定期手动干预才能解决。这是实施人工智能的完美案例。

　　视觉人工智能不仅可以发现“应该是什么”和“有什么”之间的差异，还可以确定这些变化是故意的还是实际的错误。它极大地提升了软件测试基础设施的性能，其行为类似于人类分析视觉效果，但具有像素完美的比较。

　　例如，像 LambdaTest 这样的人工智能驱动的测试执行平台提供了一个具有人工智能增强功能的 SmartUI 平台，提供智能视觉 UI 测试来检查不同浏览器、设备和操作系统之间的视觉偏差(或不匹配)。

　　跨浏览器测试：由于 UI 测试大部分是手动的，因此在不同的浏览器、设备和操作系统上进行测试通常需要花费大量时间。自动化的跨浏览器测试工具会有所帮助，但它们主要依赖于测试软件应用程序的功能部分。

　　视觉人工智能可以检测不同设备、浏览器和操作系统中的布局异常和设计变化。然后，这些异常情况会记录在测试报告中，通常包含错误、修复建议以及可使用的后备方案(如果有)。

　　使用 DOM 分析的测试覆盖率： DOM 是 WebElements 连接的可视化表示。通过视觉人工智能，团队可以概览测试覆盖范围以及测试套件中未受影响的 WebElement。

　　可访问性：由于测试阶段涉及很多周期，有时，即使可访问性是软件应用程序的重要组成部分，也可能必须跳过它。

　　视觉人工智能可以通过分析软件应用程序对视障人士的友好程度来克服这一挑战。团队可以根据自己的要求(例如对比度检查)设计算法，并确保视觉 AI 分析每个代码推送。

　　调试：虽然视觉人工智能关注视觉元素，但团队可能并不总是需要预先设计的 UI 设计，而是自己创建一个用于通过 AI 进行分析。

　　它非常适合调试目的，其中代码执行可以通过其他人工智能算法转换为视觉、图形表示，然后视觉人工智能可以快速指出任何错误或故障。

　　三、如何利用视觉人工智能进行测试?

　　视觉人工智能测试很容易在我们的基础设施中集成和实施。只需要遵循几个简单的步骤即可。

　　最终确定需求：只有当团队知道自己的确切需求时，他们才能了解视觉人工智能的最佳选择工具或实施的最佳算法。有些团队可能只需要视觉 AI 来进行调试，而有些团队则专注于可访问性问题。一旦与所有团队成员讨论了这些要求，他们就可以列出与基础设施集成的算法或工具(如果有)。

　　选择工具或算法：视觉AI工具应与上一步中所述的要求完美同步。这可能需要大量的研究和时间，但回报也很可观。

　　相反，团队还可以选择为视觉人工智能目的而开发的人工智能算法。然而，这一步需要调整算法，使用数据集对其进行训练，并使用各种人工智能测试技术来测试算法。所有这些都是额外的工作，但所提供的灵活性比调优固定且无法更改的工具高得多。

　　完整的先决条件：工具或算法需要先决条件才能理解需求并收集必要的输入。例如，如果视觉人工智能的目标是视觉回归测试，那么团队应该提供基线图像、预期要求以及有关应忽略的任何页面的信息。此步骤中完成的所有设置将在该工具的所有运行中使用。

　　完成工具设置：工具或算法准备就绪后，需要将其集成到大型机通道中并成为流程的一部分。这可以通过其他软件提供的触发器将工具附加到软件应用程序流来完成，这些触发器将启动人工智能过程。

　　无论团队决定选择算法还是工具，他们都需要在这里编写人工智能驱动的测试脚本。对于工具来说也是如此，因为它们(大部分)需要无代码脚本。这些测试应该在下一步执行之前完成并测试。

　　执行测试脚本：作为验证过程的一部分，需要执行上一步中编写的所有脚本。执行后，测试人员检查是否有任何误报，是否检查了他们的需求，并在集成到生产之前进行所有必要的更改。

　　集成到生产中：最后，如果团队对算法感到满意，他们可以将该工具集成到生产中。此步骤还需要额外的步骤，以及可以触发该工具并将其链接到其他技术的地方。例如，视觉人工智能可以与 CI/CD 工具联系起来，这样每当触发新的工作时，它也有一个视觉人工智能的阶段。此步骤应完成软件测试的视觉 AI 设置。

　　生成测试报告：报告是视觉人工智能测试的主要阶段之一，因为它可以帮助每个人(包括非测试人员甚至非技术人员)了解软件测试的当前状态。视觉人工智能工具通常配备暗示技术，通过这些技术，它们不仅可以提供错误，还可以提供最佳修复这些错误的建议。这也是决定集成工具时要考虑的清单之一。

　　选择视觉人工智能测试工具可能是一个艰难的决定，而且由于初始投资巨大，无法收回。这个决定需要仔细考虑并减轻这项繁琐的工作。然而，像 KaneAI 这样的人工智能驱动的测试助手可以通过视觉人工智能来简化您的测试任务。

　　四、视觉人工智能的未来

　　人工智能已成为当今的研究主题。组织和个人正在探索人工智能在不同领域的用例，软件开发和测试也不例外。

　　目前，当谈到视觉人工智能时，焦点似乎只集中在所有软件测试阶段中的一个流程上。目前，人们倾向于与 UI 相关的流程，但视觉 AI 可以用于许多其他领域，包括功能性和非功能性。

　　一旦视觉人工智能得到充分开发并适用于许多测试领域，最终目标是创建一个完全自主的系统，最大限度地减少人工干预。这种自主视觉人工智能系统可以成为目前正在开发的更大自主系统的一部分。

　　预计，测试可以一键自动进行，错误可以根据需要进行分析和纠正，所有测试阶段的决策都更加“人性化”。这可能是组织目标的最后阶段，但还有很长的路要走。

　　五、常见问题 (FAQ)

　　1、人工智能中的视觉是什么?

　　人工智能中的视觉是指利用计算机视觉和深度学习等技术，使机器能够解释和处理来自世界的视觉数据，例如图像和视频。它允许系统识别物体、面部、图案等，以适应各种应用。

　　2、什么是视觉搜索人工智能?

　　视觉搜索人工智能使用图像识别来根据照片而不是文本等视觉输入来搜索信息。它分析视觉内容并将其与相关数据进行匹配，使其在电子商务、内容发现等方面发挥作用。

　　3、VFX是人工智能吗?

　　视觉效果 (VFX) 不是人工智能，但可以使用 AI 工具来自动化或增强运动跟踪、对象替换或创建真实模拟等流程，从而使工作流程更快、更高效。

       卓码软件测评是一家[ 具备CMA、CNAS双重资质 ]的专业做软件测试的第三方软件测试服务机构, 可根据您的需求提供各类软件测试服务，并出具合格有效的软件测试报告。点击→→可了解测试报价

        部分文字、图片来自网络，如涉及侵权，请及时与我们联系，我们会在第一时间删除或处理侵权内容。负责人：曾菲       电话：4006070568