测试动态 / 质量专栏 /用于原生应用测试的真实设备云
用于原生应用测试的真实设备云
2022-06-13 浏览次数:1557

根据 Statista 的数据,2020 年全球应用下载量为 2180 亿次。这意味着对移动应用测试人员进行更多的测试和优化。测试人员一直在寻找能够提供真实设备云或虚拟测试平台的服务,以便在不同设备上测试他们的应用程序。

移动应用程序测试给测试人员和整个团队带来了许多挑战。您在每一步中做出的决定将塑造您以应用程序形式获得的输出。但是是什么影响了这些决定?嗯,这取决于很多事情。CTA 按钮的位置可能会受到用户行为和过去分析的影响。有这么多需要考虑的事情,真实设备测试可以帮助您确保您的应用程序在不同设备上兼容和响应。

也就是说,问题是您应该建立自己的真实设备测试实验室,还是选择其他组织提供的已经准备好和随时可用的基础设施?所有这些问题的答案比简单的是或否要复杂得多。这篇文章旨在澄清这一困境。该博客分为两个独立的部分。第一个致力于回答虚拟设备与真实设备云测试,而第二个专注于真实设备云和真实设备内部设置。

虚拟测试平台与真实设备云

虚拟测试平台是模拟移动设备的软件。您可以直接从您的桌面使用模拟器或模拟器测试您的移动应用程序。

当计算机和其他高科技系统价格昂贵且难以获得时,对虚拟测试平台的需求就出现了。在 1980 年代,仿真器和模拟器旨在测试软件,而无需将其安装在物理设备上以验证其是否正常工作。一个这样的例子是惠普打印机。由于硬件开发成本高昂,仿真器和模拟器可以简要介绍系统的正确性。不过,这仅限于惠普等高科技公司。

1990 年代十年是模拟器和模拟器最著名的时代。随着游戏玩家想要在他们的新系统中玩 1980 年代过时和被遗忘的街机游戏,对虚拟平台的需求也在增长。

虚拟测试平台被广泛用于移动应用程序测试和开发,以仔细测试我们的应用程序是否稳定。另一方面,移动应用程序和设备开发所涉及的技术多年来也在不断发展。

这就是问题出现的地方。我们是否应该像 10 到 15 年前那样继续使用虚拟测试平台?还是我们在真实设备上进行测试?但考虑到设备矩阵,维护本地设备实验室的成本极高且难以维护。

为了分析这个问题并得出结论,我针对当今充满活力和挑战性的移动应用程序测试环境起草了几点意见。我们可以将仿真器/模拟器和真实设备测试与这些点进行比较,看看哪一个比另一个重。

逐点分析

在选择虚拟测试平台和云端真实设备群来测试您的移动应用程序时,可以考虑以下参数。

1、用户界面

在我们的案例中,用户界面是任何 Web 应用程序或移动应用程序的一个重要方面。85%的成年人认为公司的移动网站应该与他们的桌面网站一样好或更好。那么测试应用程序用户界面的最佳选择是什么?

用户界面不需要任何类型的硬件进行测试。如果您有一个可以在最低配置下运行的应用程序,并且它唯一关注的是它的外观,那么虚拟测试平台是您的最佳选择,您可以继续使用它。

2、网络条件

由于用户经常使用移动设备,网络条件是移动应用测试的主要关注领域之一。无法预料不同用户操作的不同带宽。即使我们分析数据并考虑到今天有这么多人使用 4G 及更高版本,但这并不能改变设备在移动时网络状况不可靠的事实。有专家表示,移动应用测试(安卓应用测试和iOS应用测试)也应该关注离线数据管理,避免直截了当地向用户展示网络不佳的情况。

重点如此之多,以至于我们现在几乎所有的移动应用程序测试选项都配备了网络带宽限制。甚至 chrome 开发工具也可以帮助您选择网络。虚拟测试平台已经开始提供网络限制选项,并且有像“Clumsy”这样的软件可以帮助您丢失或收紧测试带宽。但是所有这些选项都不足以测试您的应用程序在真实条件下的性能。

当我们谈论带宽时,我们不仅谈论接收,还谈论由于其他原因导致的网络接收中的硬件问题和延迟。对此的完美选择是使用网络选项执行真实设备测试。

3、传感器

就仅 Android 设备而言,以下是传感器:

1)加速度计——测量加速度。

2)陀螺仪——测量旋转角度。

3)磁力计- 用于磁场强度(指南针相关应用等)

4)气压计——用于 GPS 和气压。

5)光——测量光强度。

接近度——从传感器到最近的可见表面的距离。除了上述流行的传感器外,还有其他传感器,例如温度测量传感器和相对湿度测量传感器。如果您的应用程序使用任何传感器,则准确读取它们对于在应用程序上生成操作很重要。例如,在某些移动游戏应用程序中,当用户倾斜屏幕时会使用陀螺仪。倾斜可以与向前移动或跳跃等特定动作有关。向前移动的速度或他跳多高取决于确切的倾斜值。当涉及到与传感器相关的操作时,它不能保持不变,并且用户非常谨慎(和敏感)。

传感器问题过于敏感,无法留在模拟器上。它们确实支持这些传感器,并且绝对应该在测试的初始阶段使用。但是,当您完成开发和初始测试时,重要的是要在真实设备上进行测试,以确保应用程序对每个传感器值做出准确准确的反应。这是绝不能留给机会或模拟器的事情之一。

4、表现

我们在移动应用程序测试中关注的下一件事是性能指标。这是一个非常广泛的领域,要完全理解这一点可能需要一个指南。简而言之,应用程序的性能展示了我们的应用程序在技术上的表现如何(而不是通过市场参与)。它为我们提供了改进的范围,并帮助我们了解应用程序落后的地方。以下领域可以被视为分析移动应用程序性能的突出基准:

1)不同设备的加载时间。

2)阈值流量带宽——应用程序在高流量下的行为方式。

不同网络条件下的参数。除了网络条件外,加载时间和阈值也可以在虚拟测试中解决。虚拟测试和真实移动云的加载时间一般不超过1秒。但是要生成最终的性能报告,您可能需要网络状况数据和离线应用程序工作数据。这两者最终都可能需要真实的设备测试。

5、测试价格

价格不是测试中的参数,而是团队和组织考虑的问题。事实是,即使您可能想使用真实设备,您也可能不得不避免使用它,因为它的成本比仿真器高得多。许多虚拟测试平台甚至可以免费使用,例如 Android Studio 和其他开源平台。但它们确实缺乏测试人员所需的功能,只专注于简单的应用程序渲染。

如果您想要具有很多功能的优秀模拟器,您可以通过在线工具以极低的价格获得它们。

6、维护

下一个判断虚拟平台与真实设备云的点是维护部门。设备的维护是移动应用测试的一大挑战,毫无疑问,虚拟测试平台将在这一点上大获全胜。

虚拟测试平台相当容易维护。您所要做的就是从云端访问平台或将它们下载到您的系统上。另一方面,当您想在真实设备上进行测试时,您必须实际购买该新设备。不仅如此,真正的设备还伴随着高昂的运营和维护成本。如果应用程序测试人员要使用真实设备,则所有这些都必须由他们处理。

7、电池

由于虚拟平台在很大程度上赢得了维护,“电池”站在了真实设备的一边。今天,电池耗尽是一个真正的问题。手机要先进得多,用户一天要长时间使用手机。移动设备制造商尽最大努力阻止臭名昭著的应用程序吸干电池。不仅如此,移动制造商确保他们在发布活动中突出显示他们的电池使用情况(例如充电将持续多长时间)。

那么,为什么某些东西变得如此重要,以至于制造商都将其展示为非凡的功能呢?因为人们在购买移动设备时会担心它。同样,人们在他们的设备上安装移动应用程序时也会担心它。如果您的移动应用程序在消耗电池的速度上比其他应用程序突出,人们就会卸载它。

这需要定期、虔诚和准确地进行测试。在电池使用方面,虚拟测试平台永远不是前进的道路。虚拟平台无法准确地(甚至在大致情况下)告诉您使用移动应用程序时电池将如何耗尽。在电池方面,始终选择在真实设备上进行测试(如果成本是问题,可能会更少)。

8、CPU使用率

与设备的电池类似,虚拟平台上的 CPU 使用率也可能会将您误导为较低的数字,而故事可能完全是另外一回事。这两个部分,即电池和 CPU 使用率甚至彼此相关,因为更高的 CPU 使用率会产生更多的热量并消耗更多的电池。由于真实设备中正在进行数百个进程,因此这是准确了解 CPU 使用情况的唯一方法。当您使用它时,也不要错过内存使用量和 GPU 使用量指标。

从我们的逐点分析可以清楚地看出,真实设备测试是准确测试应用程序的赢家。它们确实成本更高,但在电子设备方面总是存在成本效益权衡。下一个问题是,我们应该建立自己的实验室还是寻找其他方便的选择?和之前一样,我们先不要急于分析哪种方法对我们更有帮助。

为什么真实设备云测试是更好的选择?

真实设备云是一个移动测试环境,允许用户直接从桌面浏览器访问真实设备,在各种 Android 和 iOS 设备上测试他们的应用程序。真实设备云测试允许您测试您的本地应用程序的功能、兼容性和可靠性。

当您可以建立自己的设备实验室时,为什么还要进行真正的设备云测试?如果您可以购买设备并且可以雇用人员来建立设备实验室,那么您应该这样做。实现这一点的首要问题是成本因素,这绝对是您在选择构建自己的设备实验室时应该考虑的因素之一。您愿意实现的设备覆盖范围越多(越高越好),您的成本就越高。

但是,我们可能绝对不会仅凭这个答案就直接得出结论。随着时间的推移,您可能会发现许多原因不断涌现。我们在下面列出了一些。

1、设备管理

一个移动应用测试矩阵可以邀请 100 到 300(或 500)个独特的设备。购买如此多的设备可能会产生成本,但在维护上可能会花费更多。新设备不断进入市场,旧设备被淘汰。维护设备实验室的一部分是不断购买新设备。另一方面,您需要将每台设备更新到其最新的固件版本、操作系统等。所有这些乘以 300-500 会花费大量时间,因此也需要大量资金。

真正的设备云测试可以解决您的问题,因为您无需担心设备的更新。所有维护工作均由服务提供商完成。

2、基础设施管理

当你在维护一个真实的设备云时,基础设施管理可能被视为最麻烦的事情。一旦您拥有设备,与这些设备的桌面屏幕相关的所有其他内容都属于基础架构。您不会插入每个设备来测试应用程序。您有一个连接、一个网格(如 selenium 网格)、附加到此网络的移动应用程序测试框架、一种传递自动化数据以便它在每个设备中传播的方法、一个维护设备运行状况的网络等等。

当我们亲自管理设备实验室时,维护和设置基础设施变得非常困难。这不是一次性的事情。基础设施、真实设备或任何其他设备不断需要维修、升级和其他此类任务。当您在真实的设备云上时,您无需担心。您甚至不必担心让一切保持活力的服务器。您需要做的就是登录您的帐户并选择设备。基础设施的维护或设置方式与您无关。

3、劳动力

以上所有要点都需要大量的工时来保持一切正常运行。组织通过增加仅从事设备实验室维护和与之相关的一切工作的工程师数量来减轻这种负担。不用说,这需要额外的钱作为他们工资的一部分,如果没有设备实验室需要维护,例如当我们选择真正的设备云实验室时,这是可以避免的。

4、缩放

通过真实设备扩展移动应用程序测试可以让最新的设备保持在手边,这些设备今天发布得非常频繁。这些设备不会以与投放市场的速度相同的速度逐步淘汰。随着新设备在发布后立即添加到云中,使用真实设备云测试扩展变得更加容易。这也提高了我们在发布应用程序时的兼容性标准。

5、软件交付

上述所有要点的结果归结为软件交付时间。当我们将大量时间花在与测试无关的事情上时,软件交付就会延迟,这会影响我们的信誉和业务。自己维护真实设备会带来这一挑战,因此建议进行真实设备云测试,因为它可以让您与时间线保持一致,尤其是当敏捷使事情变得更加与时间相关时。

影响软件交付的另一个因素是多个团队使用您的设备实验室时。真正的设备云是为多个用户同时访问设备而制作的。这不会发生在个人真实设备实验室中。如果一个团队在设备实验室(无论是进行 alpha 测试的开发团队还是另一个测试团队)运行,您只需等待轮到您。这可能会进一步延迟时间线。

6、报告

在决定进行手动真实设备实验室设置或基于云之前,我们可能会考虑的最后一点是报告。报告比第一阶段听起来要重要得多。他们不会告诉你你运行了哪些测试,你测试了哪些功能,甚至你使用了什么语言。他们告诉你一切进展的整体分析,以便任何人都可以一目了然并了解当前情况。但是它的表示方式也有很大的不同。

实际上,您的内部真机实验室和真机云实验室都可以提供良好的报告系统。这里只有两个区别。首先是你必须投入一些时间来汇总结果,建立一个强大且具有视觉吸引力的机制。这是一项一次性的工作,除非您拥有相同的基础设施并且在任何意义上都是可管理的。真正的设备云将为您准备好所有这些,并且有一些工程师定期参与改进这些报告。这在内部设置中具有挑战性,因为真实设备云报告会定期改进。

其次,基于云的报告为团队提供了更多选择,使协作变得非常容易。例如,基于真实设备云的报告会自动保存在帐户中。任何团队成员都可以随时随地轻松查看报告。此外,在生成报告时,基于云的真机实验室与公司有很多合作,使报告共享变得更加容易。例如,您可以直接通过电子邮件一键将文件分享给团队,也可以将其附加到 JIRA 票证等。如果您可以自己投入时间和成本开发这样的系统,它通常会变成个人选择,因此这里没有赢家。

你觉得呢?你有没有什么想法?

在这篇文章中,我们在两组之间划了一条线——虚拟平台和真实设备云。一般来说,当我遇到人时,我从来没有得到你在登陆这个页面时会问自己的任何问题的明确答案。我应该使用模拟器还是使用真实设备?为什么我应该选择云而不是内部开发?有时,人们确信他们可以建立自己的设置,因为他们有钱。他们中的很多人没有这样做,但他们中的很多人也成功了。现在执行免费的跨浏览器和实时测试。

在我看来,如果您使用的是真实设备,更好的选择是使用真实设备云测试,因为它们让生活更轻松。它们不像从 AWS 租用数据中心,其费用随着时间的推移不断增加至数百万美元。真正的设备云通过为不同团队(个人、小团队等)定制的企业计划和其他各种计划来保持价格实惠。它们没有任何开销,让您的团队只专注于一件事——测试。最终结果是增加开发周期和更快、更及时的软件交付,这是每个组织都在努力的目标。

卓码软件测评是一家[ 具备CMA、CNAS双重资质 ]的专业做软件测试的第三方软件测试服务机构, 可根据您的需求提供各类软件测试服务,并出具合格有效的软件测试报告。点击→→可了解测试报价

部分文字、图片来自网络,如涉及侵权,请及时与我们联系,我们会在第一时间删除或处理侵权内容。负责人:曾菲       电话:4006070568

文章标签: 移动app测试 软件测试
专业测试,找专业团队,请联系我们!
咨询软件测试 400-607-0568