江苏龙网

  1. 首页 > 人文 > >

科技俱乐部|与Coveros测试自动化总监的Q&A问答3：测试自动化的成功与失败

【科技俱乐部|与Coveros测试自动化总监的Q&A问答3：测试自动化的成功与失败】在与Coveros测试自动化总监MaxSaperstone的对话的第三部分（阅读第一部分和第二部分）中 ， 我们讨论了他在测试自动化中遇到的成功和失败 。
Max发现了与我们在市场上看到的类似的经历：糟糕的计划和各个层次的买断都不是成功的好环境 。 但是 ， 当自动化的投资回报率明确时 ， 成功的可能性就更大 。 让我们来看看Max在这方面的经验 。
科技俱乐部|与Coveros测试自动化总监的Q&A问答3：测试自动化的成功与失败
文章图片
与Coveros测试自动化总监的Q&A问答（3）：测试自动化的成功与失败
测试自动化：成功与失败MarkLambert：让我们用最后两个问题来结束这个讨论 。 第一个问题是 ， 给我一个例子 ， 您进入一个组织来帮助他们进行自动化测试 ， 这是成功的 。 它运行良好的原因是什么？
MaxSaperstone：有趣的问题 。 我想到的一个例子是 ， 我去了一家进行大量手动测试的组织 。 他们的测试实际上是在输入数据并进行表单验证 。 他们的挑战是由于测试应用程序所需的复杂性和不同输入组合而花了数周的时间仅测试系统 。 他们甚至知道他们没有涵盖所有内容 。
我们与他们坐下 ， 讨论了需求以及他们正在寻找的一切 。 他们说：“您知道吗？老实说 ， 我们不知道 。 ”他们正在做的部分工作是手动输入邮政编码 ， 然后该应用程序报告了不同的用户 。 对于返回的每个用户 ， 他们都需要执行另一个查询 ， 以确保信息正确 。
我们创建并运行了一些脚本 ， 结果 ， 我认为是一百万种不同组合中的四分之三 。 一个晚上花了大约八个小时才能运行所有这些测试 。 他们查看了数据 ， 然后我们问：“好吧 。 那我们该怎么办？”他们说：“我们不知道 。 ”
我们知道所有这些东西都在他们的数据库中 ， 但是我们没有办法对其进行测试 。 因此 ， 实际上有人做下了这些数据 ， 大概花了一个月的时间 。 他们最终回来说：“我们仔细研究了所有这些数据 ， 并不都是正确的 。 ”他们发现了30或40个不同的差异 ， 但实际上他们从来没有真正发现过这些差异——他们实际上是在进行随机采样 。
我们能够做的就是获取该数据集 ， 而不是编写这些输出的脚本 ， 我们将其转换为测试 。 仍然需要花费整夜的时间来运行 ， 但是他们没有花数周的时间来分析覆盖率较差的结果 。 这些新测试验证了所有输出实际上都是正确的 ， 并且组织能够以更少的工作来测试结果 ， 从而继续向数据库中添加新客户 。
我们不仅发现了错误 ， 而且这种新的自动化功能使客户端实际上可以跟踪所有内容 。 对我来说 ， 那是巨大的成功 。 将自动化和智能手动工作相结合 ， 可以节省大量时间和精力 。 另外 ， 另一项成功是发现了如果最终出现在最终产品中 ， 则绝对会影响公司盈利的错误 。
MarkLambert：因此 ， 他们通过利用整个数据集获得了完整的测试覆盖率？而不是随机抽样以尝试发现缺陷 。
MaxSaperstone：差不多 。 同样 ， 它完全覆盖了应用程序的一个区域 。 但是实际看到的正是自动化的使用 。 但是 ， 这是一项昂贵的工作 ， 如果客户真的希望我们抛弃所有存在的问题 ， 我们会的 。 在这种情况下 ， 这对我们的客户而言是一个巨大的提升 ， 最终 ， 对他们而言这是非常值得的 ， 这很好 。
MarkLambert：好的 ， 最后一个问题 。 这个项目完全出错的例子呢？是什么原因导致实施出错？从中学到了什么？
MaxSaperstone：我当时与现在的公司不在同一个公司 ， 一位客户邀请我们说：“我们真的需要您使我们的测试自动化 。 我们有所有这些手动测试员 ， 他们花费数周的时间进行回归测试 。 真正需要的是使这些测试自动化并加快测试时间 。 ”
这是前一阵子 ， 我天真地说：“可以 。 ”我开始研究问题 ， 编写一些测试 ， 并与手动测试人员交谈以弄清他们在大部分时间上花费了多少 。 一两个月后 ， 我进行了一套不错的测试 ， 并将其交给测试人员 。


推荐阅读


上一篇：ROM乐园TB|2020年一月到四月国内手机出货量概况：四月回暖现象明显

下一篇：科技数说|微软证实！Win10五月更新出现蓝屏bug：3个问题导致