(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210033013.3 (22)申请日 2022.01.12 (71)申请人 深圳绿米联创科技有限公司 地址 518055 广东省深圳市南 山区桃源街 道留仙大道塘岭路1号金骐智谷大厦8 楼 (72)发明人 鲁静　杨家博　 (74)专利代理 机构 上海波拓知识产权代理有限 公司 31264 专利代理师 林丽璀 (51)Int.Cl. G06F 9/451(2018.01) G06V 20/10(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01)G06N 20/00(2019.01) H04L 12/28(2006.01) (54)发明名称 设备控制方法、 装置、 系统、 电子 设备和存储 介质 (57)摘要 本申请涉及一种设备控制方法、 装置、 系统、 电子设备和存储介质， 所述方法包括： 展示目标 场景的场景画面所对应的设备控制界面； 在设备 控制界面中， 显示目标场景下的至少一目标设备 对应的控制组件； 控制组件与基于目标场景下的 图像中识别出的目标设备绑 定； 响应于针对控制 组件触发的控制操作， 向控制组件对应的目标设 备发送对应的控制指令， 以控制目标设备执行控 制指令。 如此， 通过展示目标场景的场景画面所 对应的设备控制界面， 并在界面中显示与目标设 备绑定的控制组件， 无需或仅需用户少量操作即 可进行设备控制， 大 大提升用户体验感。 权利要求书3页 说明书12页 附图6页 CN 114489893 A 2022.05.13 CN 114489893 A 1.一种设备控制方法， 其特 征在于， 所述方法包括： 展示目标场景的场景画面所对应的设备控制界面； 在所述设备控制界面中， 显示所述目标场景下的至少一目标设备对应的控制组件； 所 述控制组件与基于所述目标场景 下的图像中识别出的目标设备绑定； 响应于针对所述控制组件触发的控制 操作， 向所述控制组件对应的目标设备发送对应 的控制指令， 以控制所述目标设备 执行所述控制指令 。 2.根据权利要求1所述的方法， 其特征在于， 所述在所述设备控制界面中， 显示所述目 标场景下的至少一目标设备对应的控制组件， 包括： 在所述设备控制界面中， 显示与真实的目标场景相对应的场景画面； 在所述场景画面中， 显示所述真实的目标场景 下的至少一目标设备对应的控制组件。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法， 还 包括： 在所述控制组件中显示目标设备对应的设备状态入口； 响应于针对所述设备状态入口 的触发操作， 展示对应目标设备的当前设备状态信息 。 4.根据权利要求3所述的方法， 其特 征在于， 所述方法， 还 包括： 基于目标场景下采集的图像识别出目标设备的设备状态信 息发生变化 时， 动态更新所 述设备控制界面中的设备状态信息 。 5.根据权利要求1 ‑4中任一项所述的方法， 其特 征在于， 所述设备控制界面包括与真实的目标场景对应的二维场景画面或三维场景画面。 6.一种设备控制方法， 其特 征在于， 所述方法包括： 对目标场景 下采集的图像进行目标识别， 得到所述图像中的目标设备； 获取所述目标场景下的已添加设备， 将所述图像中的目标设备与所述已添加设备进行 匹配； 若具有与所述目标设备匹配的已添加设备， 则在所述目标场景的场景画面对应的设备 控制界面中， 将所述 目标设备与所述匹配的 已添加设备对应的控制组件绑定； 所述控制组 件用于在所述设备控制界面中控制目标设备。 7.根据权利要求6所述的方法， 其特征在于， 所述对目标场景下采集的图像进行目标识 别， 得到所述图像中的目标设备， 包括： 获取目标场景 下采集的图像； 对所述图像进行目标识别， 得到所述图像中的目标设备所对应的设备类型， 以及所述 目标设备在所述目标场景中的设备位置； 所述获取所述目标场景下的已添加设备， 将所述图像中的目标设备与 所述已添加设备 进行匹配， 包括： 获取目标场景 下已添加设备的设备类型和设备位置； 将目标设备的设备类型和设备位置与已添加设备的设备类型和设备位置进行匹配。 8.根据权利要求7所述的方法， 其特征在于， 所述将目标设备的设备类型和设备位置与 已添加设备的设备类型和设备位置进行匹配， 包括： 确定所述已添加设备中， 设备位置与所述目标设备的设备位置匹配的目标已添加设 备； 确定所述目标已添加设备中， 设备类型与 所述目标设备的设备类型匹配的设备为与 所权　利　要　求　书 1/3 页 2 CN 114489893 A 2述目标设备匹配的已添加设备。 9.根据权利要求6 ‑8中任一项所述的方法， 其特征在于， 所述图像 中的目标设备通过已 训练的深度学习模型进行识别得到； 所述已训练的深度学习模型通过模型训练步骤获得； 所述模型训练步骤 包括： 获取多种真实环境下采集的样本图像； 所述样本图像包括已标注样本目标设备的位置 和类别的样本标签； 通过初始的深度 学习模型对所述样本图像进行目标识别， 得到所述样本图像中样本目 标设备的识别结果； 所述识别结果包括样本目标设备的位置和类别； 基于所述识别结果和所述样本标签间的差异， 调整所述初始的深度学习 模型的参数并 继续训练， 直至满足训练条件时停止训练， 得到已训练的深度学习模型。 10.一种设备控制系统， 其特 征在于， 包括终端与服 务器； 所述服务器， 用于对目标场景下采集的图像进行目标识别， 得到所述图像中的目标设 备； 获取所述 目标场景下 的已添加设备， 将所述图像中的目标设备与所述已添加设备进行 匹配； 若具有与所述 目标设备匹配的 已添加设备， 则在所述 目标场景 的场景画面对应的设 备控制界面中， 将所述 目标设备与所述匹配的 已添加设备对应的控制组件绑定； 所述控制 组件用于在所述设备控制界面中控制目标设备； 所述终端， 用于展示目标场景的场景画面所对应的设备控制界面； 在所述设备控制界 面中， 显示所述目标场景下 的至少一 目标设备对应的控制组件； 所述控制组件与基于所述 目标场景下 的图像中识别出 的目标设备绑定； 响应于针对所述控制组件触发的控制操作， 向所述控制组件对应的目标设备发送对应的控制指 令， 以控制所述目标设备执行所述控制 指令。 11.一种设备控制装置， 其特 征在于， 所述装置包括： 界面展示模块， 用于展示目标场景的场景画面所对应的设备控制界面； 控制组件显示模块， 用于在所述设备控制界面中， 显示所述目标场景下的至少一目标 设备对应的控制组件； 所述控制组件与基于所述目标场景下的图像中识别出的目标设备绑 定； 指令发送模块， 用于响应于针对所述控制组件触发的控制操作， 向所述控制组件对应 的目标设备发送对应的控制指令， 以控制所述目标设备 执行所述控制指令 。 12.一种设备控制装置， 其特 征在于， 所述装置包括： 目标识别模块， 用于对目标场景下采集的图像进行目标识别， 得到所述图像中的目标 设备； 设备匹配模块， 用于获取所述目标场景下的已添加设备， 将所述图像中的目标设备与 所述已添加设备进行匹配； 绑定模块， 用于若具有与所述目标设备匹配的已添加设备， 则在所述目标场景的场景 画面对应的设备控制界面中， 将所述目标设备与所述匹配的已添加设备对应的控制组件绑 定； 所述控制组件用于在所述设备控制界面中控制目标设备。 13.一种电子设备， 其特征在于， 包括处理器、 存储器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述计算机程序被所述处理器执行时实现如权利要求 1至9 中任一项所述的设备控制方法的步骤。权　利　要　求　书 2/3 页 3 CN 114489893 A 3