(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210520433.4 (22)申请日 2022.05.13 (71)申请人 浙江大华 技术股份有限公司 地址 310051 浙江省杭州市滨江区滨安路 1187号 (72)发明人 白云超　熊涛　魏乃科　潘华东　 殷俊　 (74)专利代理 机构 深圳市威世博知识产权代理 事务所(普通 合伙) 44280 专利代理师 何倚雯 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种动作识别方法、 动作 识别模型训练方法 及相关装置 (57)摘要 本发明公开了一种动作识别方法、 动作识别 模型训练方法及相关装置， 该动作识别方法包 括： 获取包含待识别动作的待识别视频和包含目 标动作的动作视频； 将动作视频和待识别视频输 入动作识别模 型， 通过动作识别模 型中的特征提 取网络分别对动作视频和待识别视频进行特征 提取， 得到第一特征数据和第二特征数据； 并在 动作识别模型的互相关网络中利用第一特征数 据对第二特征数据进行互相关处理， 识别待识别 视频包含的待识别动作是否是目标动作。 通过上 述方式， 本发 明能够利用一个动作样本只进行一 次学习来实现动作识别， 提高识别效率。 权利要求书2页 说明书8页 附图5页 CN 114627560 A 2022.06.14 CN 114627560 A 1.一种动作识别方法， 其特 征在于， 所述方法包括： 获取包含待识别动作的待识别视频和包 含目标动作的动作视频； 将所述动作视频和所述待识别视频输入动作识别模型， 通过所述动作识别模型中的特 征提取网络 分别对所述动作视频和所述待识别视频进 行特征提取， 得到第一特征数据和 第 二特征数据； 并 在所述动作识别模型的互相关网络中利用所述第一特征数据对所述第二特征数据进 行互相关处 理， 识别所述待识别视频包 含的所述待识别动作是否是 所述目标动作。 2.根据权利要求1所述的动作识别方法， 其特征在于， 所述在所述动作识别模型中的互 相关网络中利用所述第一特 征数据对所述第二特 征数据进行互相关处 理包括： 基于所述第一特 征数据的尺寸确定卷积核； 利用所述卷积核对所述第二特 征数据进行 卷积处理， 得到目标 特征值； 基于所述待识别视频中与目标特征值对应的视频段， 确定所述待识别动作 是否是所述 目标动作。 3.根据权利要求2所述的动作识别方法， 其特征在于， 所述基于所述第 一特征数据的尺 寸确定卷积核包括： 对所述第一特征数据进行池化处理， 以改变所述第一特征数据的尺寸， 将池化处理后 的第一特 征数据作为所述卷积核。 4.根据权利要求2所述的动作识别方法， 其特征在于， 所述利用所述卷积核对所述第 二 特征数据进行 卷积处理， 得到目标 特征值包括： 利用所述卷积核对所述第二特 征数据进行 卷积处理， 得到互相关特 征值； 利用所述卷积核对所述互相关特 征值进行 卷积处理， 得到目标 特征值。 5.根据权利要求1所述的动作识别方法， 其特征在于， 所述特征提取网络为孪生网络， 所述利用特征提取网络对所述动作视频和所述待识别视频进 行特征提取， 得到第一特征数 据和第二特 征数据包括： 利用所述孪生网络的第一网络对所述动作视频进行特征提取， 得到所述第一特征数 据； 利用所述孪生网络的第 二网络对所述待识别视频进行特征提取， 得到所述第 二特征数 据。 6.根据权利要求5所述的动作识别方法， 其特征在于， 所述第 一网络和所述第 二网络分 别包括姿态提取网络和动作提取网络， 所述利用特征提取网络对所述动作视频和所述待识 别视频进行 特征提取包括： 将所述动作视频和所述待识别视频分别输入所述姿态提取主干网络， 获取所述动作视 频和所述待识别视频中的姿态信息； 将所述动作视频和所述待识别视频中的姿态信 息输入所述动作提取网络， 对所述姿态 信息进行3D卷积处理， 提取所述姿态信息的姿态变化， 得到所述第一特征数据和所述第二 特征数据。 7.根据权利要求6所述的动作识别方法， 其特征在于， 所述动作视频和所述待识别视频 中的姿态信息包括人体的姿态信息， 所述人体的姿态信息包括人体的关键点的热度图。 8.一种动作识别模型训练方法， 其特 征在于， 所述方法包括：权　利　要　求　书 1/2 页 2 CN 114627560 A 2获取基准学习样本和多个素材样本， 至少一个所述素材样本和所述基准学习样本包含 同一种动作类别； 将所述基准学习样本和所述多个素材样本输入动作识别初始模型， 所述动作识别初始 模型包括初始特征提取网络和初始互相关网络， 利用所述初始特征提取网络分别对所述基 准学习样本和所述多个素材样本进行特征提取， 得到第一样本特征数据和 第二样本特征数 据； 在所述初始互相关网络中利用所述第一样本特征数据对所述第二样本特征数据进行 互相关处理， 得到样本特征值， 利用样本特征值识别所述待识别视频中是否包含所述动作 类别； 基于所述样本特征值和所述动作识别结果对所述动作识别初始模型的参数进行调 整， 得到动作识别模型。 9.根据权利要求8所述的动作识别模型训练方法， 其特征在于， 所述基于所述样本特征 值和所述动作识别结果对所述初始特 征提取网络的参数进行调整包括： 利用所述样本特 征值获取 所述多个素 材样本之间的相似度， 计算 三元组损失； 将所述动作识别结果和所述基准学习样本进行比对， 计算交叉熵损失； 基于所述三元组损失和所述交叉熵损失对所述动作识别初始模型的参数进行更新调 整。 10.一种电子设备， 其特征在于， 包括处理器， 所述处理器用于执行指令以实现如权利 要求1‑7任一项所述的动作识别方法或权利要求8 ‑9任一项所述的动作识别模型训练方法。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质用于存储指令， 所述指令能够被执行以实现如权利要求1 ‑7任一项所述的动作识别方法或权利要求8 ‑9任 一项所述的动作识别模型训练方法。权　利　要　求　书 2/2 页 3 CN 114627560 A 3