(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210510987.6 (22)申请日 2022.05.11 (71)申请人 富赛汽车电子有限公司 地址 130000 吉林省长 春市汽车产业 开发 区东风大街79 99号 (72)发明人 刘婷婷　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 于彬 (51)Int.Cl. G06F 11/22(2006.01) G06K 9/62(2022.01) G06V 10/74(2022.01) (54)发明名称 一种显示屏上控件功能的检测方法、 检测装 置和电子设备 (57)摘要 本申请提供了一种显示屏上控件功能的检 测方法、 检测装置和电子设备， 所述检测方法包 括： 按照预定的点触顺序以及所述点触顺序对应 的点触位置， 控制机械臂移动到显示屏上相应的 检测点， 并控制机械臂在所述显示屏上相应的检 测点进行点触操作； 针对每个点触操作， 响应于 该点触操作， 对正在进行录像的所述摄像装置的 视频图像进行截图， 以得到在该点触操作后记录 所述显示屏上的画面的原始截图； 根据所述原始 截图以及在预先获取的模板图片库中与所述原 始截图对应的目标模板图片， 确定所述显示屏上 的目标控件的功能是否异常。 根据本申请的检测 方法、 检测装置和电子设备， 能够快速地发现显 示屏上控件功能的异常， 节省检测时间， 提高检 测效率。 权利要求书2页 说明书8页 附图4页 CN 114780321 A 2022.07.22 CN 114780321 A 1.一种显示屏上控件功能的检测方法， 其特征在于， 应用于显示屏控件功能的检测系 统中的上位机； 所述显示屏控件功能的检测系统还包括： 与所述上位机相连接的摄像装置 和机械臂； 所述摄像装置通过录像的方式监控对所述显示屏上控件功能进 行检测的工艺过 程； 所述检测方法包括： 按照预定的点触顺序以及所述点触顺序对应的点触位置， 控制机械臂移动到显示屏 上 相应的检测点， 并控制 机械臂在所述显示屏上相应的检测 点进行点触操作； 所述检测点为 显示屏上的目标控 件所占用的显示屏区域内部的点； 针对每个点触操作， 响应于该点触操作， 对正在进行录像的所述摄像装置的视频图像 进行截图， 以得到在该点触操作后记录所述显示屏上的画面的原 始截图； 根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板 图片， 确定所述显示屏上的目标控 件的功能是否异常。 2.根据权利要求1所述的检测方法， 其特征在于， 所述根据 所述原始截图以及在预先获 取的模板图片库中与所述原始截图对应的目标模板图片， 确定所述显示屏上控件功能是否 异常， 包括： 在预先获取的模板图片库中获取与 所述原始截图对应的目标模板图片， 并将所述原始 截图与所述目标模板图片进行对比， 确定所述原 始截图与所述目标模板图片是否相同； 如果所述原始截图与 所述目标模板图片不相同， 则确定所述显示屏 上的目标控件的功 能异常， 并停止控制机 械臂移动到显示屏上的下一个 检测点。 3.根据权利要求2所述的检测方法， 其特征在于， 在确定所述显示屏 上的目标控件的功 能出现异常之后， 所述检测方法还 包括： 将当前原始截图与 该当前原始截图相邻的上一个原始截图进行对比， 确定当前原始截 图与该当前原 始截图相邻的上一个原 始截图是否相同； 如果当前原始截图与 该当前原始截图相邻的上一个原始截图相同， 则确定显示屏 上的 目标控件出现卡顿情况， 并发出目标控 件的异常为 卡顿异常的预警； 如果当前原始截图与 该当前原始截图相邻的上一个原始截图不相同， 则确定显示屏 上 的目标控 件出现程序逻辑 错误的情况， 并发出目标控 件的异常为逻辑异常的预警。 4.根据权利要求2所述的检测方法， 其特 征在于， 所述检测方法还 包括： 如果所述原始截图与 所述目标模板图片相同， 则确定所述显示屏上的目标控件的功能 正常， 并确定当前点触位置是否为预定的点触顺序中最后的序号对应的点触位置； 若当前点触位置不是预定的点触顺序中最后的序号对应的点触位置， 则继续按照预定 的点触顺序以及所述点触顺序对应的点触位置， 控制机械臂移动到显示屏上相应的检测 点； 若当前点触位置是 预定的点触顺序中最后的序号对应的点触位置， 则结束测试。 5.根据权利要求2所述的方法， 其特征在于， 通过以下步骤确定与所述原始截图对应的 目标模板图片： 获取所述原始截图对应的所述点触顺序的序号以及所述模板图片库中的模板图片的 序号； 在模板图片库中查找与所述 点触顺序的序号对应的模板图片的序号； 将所述模板图片的序号对应的模板图片作为与所述原 始截图对应的目标模板图片。权　利　要　求　书 1/2 页 2 CN 114780321 A 26.根据权利要求1所述的方法， 其特征在于， 在得到在该点触操作后记录所述显示屏 上 的画面的原 始截图后， 所述方法还 包括： 针对每个点触操作， 将得到的在该点触操作后记录所述显示屏 上的画面的原始截图存 储在数据库中。 7.一种显示屏上控 件功能的检测装置， 其特 征在于， 所述检测装置包括： 控制模块， 用于按照预定的点触顺序以及所述点触顺序对应的点触位置， 控制机械臂 移动到显示屏上相应的检测点， 并控制机械臂在所述显示屏上相应的检测点进行点触操 作； 所述检测点 为显示屏上的目标控 件所占用的显示屏区域内部的点； 截图模块， 用于针对每个点触操作， 响应于该点触操作， 对正在进行录像的所述摄像装 置的视频图像进行截图， 以得到在该点触操作后记录所述显示屏上的画面的原 始截图； 检测模块， 用于根据 所述原始截图以及在预先获取的模板图片库中与 所述原始截图对 应的目标模板图片， 确定所述显示屏上的目标控 件的功能是否异常。 8.根据权利要求7 所述的检测装置， 其特 征在于， 所述检测模块具体用于： 在预先获取的模板图片库中获取与 所述原始截图对应的目标模板图片， 并将所述原始 截图与所述目标模板图片进行对比， 确定所述原 始截图与所述目标模板图片是否相同； 如果所述原始截图与 所述目标模板图片不相同， 则确定所述显示屏 上的目标控件的功 能异常， 并停止控制机 械臂移动到显示屏上的下一个 检测点。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述处 理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过所述 总线进行通信， 所述机器可读指 令被所述处理器运行时执行如权利要求 1至6任一所述的显 示屏上控 件功能的检测方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器运行时执行如权利要求 1至6任一所述的显示屏上控件功能 的检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 114780321 A 3