(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513693.9 (22)申请日 2022.05.11 (71)申请人 国家计算机网络与信息安全管理中 心 地址 100029 北京市朝阳区裕民路甲3号 (72)发明人 姜松浩　王博　朱天　董自勘　 (74)专利代理 机构 北京代代志同知识产权代理 事务所(普通 合伙) 16004 专利代理师 祗志洁 (51)Int.Cl. G06F 11/36(2006.01) G06T 7/00(2017.01) G06T 7/90(2017.01) G06V 10/75(2022.01) G06V 10/74(2022.01) (54)发明名称 基于图像识别技术的PC自动化测试与应用 流畅度测试方法 (57)摘要 本发明提供了一种基于图像识别技术的PC 自动化测试与应用流畅度测试方法， 涉及自动化 测试领域和机器视觉领域。 本发明方法包括： 预 先针对不同测试目标设置自动化测试脚本， 脚本 包括控件的图像模板、 测试操作等； 当PC端接收 到流畅度测试任务时调用相应脚本， 依次执行测 试操作， 每次都先截取应用界面识别待测试控件 的位置； 当执行完所有测试操作后， 经过特定时 间后触发应用流畅度判断， 采用白像素点与色彩 丰富度作为特征对应用流畅度进行判断。 本发明 方法可实现在应用无感知 的情况下完成自动化 测试， 解决现有依赖固定坐标调用控件的问题， 能更快更准确进行应用流畅度判断， 且用户体验 更好。 权利要求书1页 说明书4页 附图1页 CN 115269372 A 2022.11.01 CN 115269372 A 1.一种基于 图像识别技术的PC自动化测试与应用流畅度测试方法， 其特征在于， 包括 如下步骤： (1)在自动化测试脚本 中预先存储控件的图像模板， 设置测试操作， 以及设置界面截图 操作； 其中， 所述控件的图像模板为控 件的特定l ogo截图或者部分图像截图； 所述测试操作包括截图、 暂停程序、 识别 控件、 鼠标移动、 鼠标单机、 鼠标双击以及键盘 输入； 所述识别控 件是指根据控 件的图像模板从截图中识别控 件位置； 所述界面截图操作包括针对测试的不同应用界面设置截取界面的指定 部分； (2)当PC端接收到流畅度测试任务时， 根据测试目标， 调用执行对应目标的自动化测试 脚本， 对脚本中的每个测试操作依 次进行自动化操作； 其中每次操作包括： 截取应用界面， 在截图中识别待测试的控 件位置， 在控 件位置执 行测试操作； (3)在对测试目标执行完所有测试操作后， 当应用加载时间达到预设时间后， 触发应用 流畅度判断； 所述应用流畅度的判断方式是： (3.1)首先截取应用界面； (3.2)其次统计截图中的预 设颜色像素点个数以及所包含的色彩种类， 然后与预先设置的阈值比较， 满足阈值条件时 判断程序加载完成， 否则判断程序未加载完成； (3.3)若程序未加载完成， 暂停设定的时间 后再重复执行(3.1)和(3.2)， 直到程序加载完成， 或者测试超时； (3.4)根据程序加载所耗 费的时间判定应用流畅度。 2.根据权利要求1所述的方法， 其特征在于， 所述的步骤2中， 识别待测试的控件位置 时， 对空间的图像模板进行多次不同 比例的缩放， 每次将缩放后的图像模板在截图中进行 匹配， 寻找最相似的位置； 对匹配到的位置， 使用方差计算匹配到的控件图像与图像模板之 间的差异值， 选取 方差最小的匹配位置作为控 件位置识别结果。 3.根据权利要求1或2所述的方法， 其特征在于， 所述的步骤3中， 预设颜色像素点为白 色像素点。 4.根据权利要求3所述的方法， 其特征在于， 所述的步骤3 中， 预先设置的阈值是根据程 序加载完成情况 下的白色像素点个数以及所包 含的色彩种类进行设置 。 5.根据权利要求4所述的方法， 其特征在于， 所述的步骤3中， 满足阈值条件是指， 统计 的白色像素点个数少于对应阈值， 同时色彩种类多于对应阈值。权　利　要　求　书 1/1 页 2 CN 115269372 A 2基于图像识别技术的PC自动化测试与应用流畅度测试方 法 技术领域 [0001]本发明主要涉及自动化测试领域和机器视觉领域， 具体涉及一种为PC端应用程序 自动化测试和应用流畅度测试 方法。 背景技术 [0002]在PC应用中， 很多工具类应用功能强大， 成为人们生产生活中不可或缺的一部分。 若应用功能出现不可用或流畅度降低的情况， 会为人们的工作带来严重的损失。 因此， 对应 用的自动化测试技 术和流畅度分析技 术来保障应用的高可用性 就变得非常重要。 [0003]流畅度测试的基础是自动化测试， 在目前技术背景下， 自动化测试往往需要深入 程序内存空间， 例如获取程序的界面结果或者执行相 应的测试操作。 在程序自身具备相应 的检测机制时， 这些操作才可能被程序检测到。 当程序检测到这些行为时， 通常会选择结束 自身进程， 以保护自身代码， 从而无法对其进行自动化 流畅度测试。 [0004]在自动化测试方面， 一类自动化测试方法的常规流程包括获取应用界面结构、 匹 配控件信息、 触发相应控件的功能， 然后重新 获取操作后的应用界面结构， 完成全部测试操 作； 另一类自动化测试方法则较为简单， 测试前要确定界面上的相应位置坐标， 在坐标处模 拟进行键盘、 鼠标等操作， 完成自动化测试。 第一种 方式大多依靠现有工具， 通过读取内存 的方式获取当前页面结构， 在获取到页面结构之后， 根据控件的路径或者是控件特征匹配 到需要进 行操作的控件， 在确定需要进 行操作的控件后， 对其控件对象执行相应的操作。 这 种方式需要侵入应用的内存空间， 在应用对自身代码进行严格保护的情况下， 这种自动化 测试方式无法生效。 第二种根据坐标进行测试 的方法， 则需要根据测试界面进行准确的定 位， 一旦界面发生变化， 该种自动化测试 方法就会失效， 维护成本 很高。 [0005]在流畅度测试方面， 常用的方法有流量分析与界面结构分析两种方法。 流量分析 方法通过抓取应用加载时的数据包对应用的加载情况进行大体判断， 但是在目前大多 数应 用采取HTTPS或其他加密手段通信的环境中， 这种方法不够准确， 仅依靠数据包大小、 访问 域名等简单特征无法对应用加载情况进行准备判断， 采取中间人攻击的方式， 又容易被应 用发现。 界面结构分析将加载完成的界面结构与测试时界面结构对比， 判断当前应用加载 情况。 同样这种方法需要侵入应用内存空间， 在应用对自身代码保护严格的情况下， 无法通 过这种方法进行流畅度判断。 发明内容 [0006]针对上述进行应用流畅度测试时， 现有技术的自动化测试依赖获取程序内存空间 数据或是依赖固定坐标的不 足， 本发明提出一种基于图像识别技术的PC自动化测试与应用 流畅度测试方法， 以不侵入应用的方式对应用进 行自动化测试， 进 行应用流畅度分析， 在对 具有安全保护机制的应用进行自动化流畅度分析时， 具有较好的适用性， 能够摆脱自动化 测试对获取应用内存数据的依赖， 同时也减少对固定坐标的依赖 。 [0007]本发明的一种基于图像识别的PC自动化测试与应用流畅度测试方法， 包括如下步说　明　书 1/4 页 3 CN 115269372 A 3