(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210520940.8 (22)申请日 2022.05.12 (71)申请人 无锡范特智能科技有限公司 地址 214415 江苏省无锡市新吴区龙山路 2-18-2104 (72)发明人 汝骏仁　郭长柱　郭星　 (74)专利代理 机构 北京易捷胜知识产权代理事 务所(普通 合伙) 11613 专利代理师 李会娟 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/74(2022.01) G06T 7/246(2017.01)G06T 7/73(2017.01) (54)发明名称 人体行为动作识别方法、 装置、 计算机设备 和存储介质 (57)摘要 本发明提供的人体行为动作识别方法， 包 括： 获取视频序列。 将视频序列输入目标检测模 型， 获得每一个视频帧中各个人体的目标框； 根 据目标框截 取视频帧， 获得每一个视频帧中各个 人体的目标图像。 将目标图像输入姿态估计模 型， 获得每一张目标图像的各个人体关键点。 根 据目标图像的位置信息和人体关键点信息， 对相 邻帧中属于同一人体的目标图像进行匹配， 获得 视频序列中每一个人体的姿态轨迹图像序列。 根 据人体关键点信息， 计算每一张目标图像的人体 姿态信息。 基于每一个人体的姿态轨迹图像序 列， 根据图像序列的人体姿态信息和预设人体动 作姿态指标， 对图像序列中连续预设数量帧的 图 像序列段进行动作识别。 识别效率高、 识别准度 高、 识别类别多。 权利要求书3页 说明书10页 附图8页 CN 115170998 A 2022.10.11 CN 115170998 A 1.一种人体行为动作识别方法， 其特 征在于， 包括以下步骤： 步骤S1、 获取视频序列； 视频序列包括连续的视频帧， 连续的视频帧中存在一个以上的 人体目标； 步骤S2、 将视频序列输入人体目标检测模型， 获得每一个视频帧中各个人体的目标框； 根据人体的目标框截取视频帧， 获得每一个视频帧中各个人体的目标图像； 步骤S3、 将 目标图像输入单人体姿态估计模型， 获得每一张目标图像中单人体的各个 人体关键点； 步骤S4、 根据目标图像的位置信息和目标图像的人体关键点信息， 对相邻帧中属于同 一人体的目标图像进 行匹配， 获得匹配结果； 根据匹配结果， 获得视频序列中每一个人体的 姿态轨迹图像序列； 步骤S5、 根据目标图像的人体关键点信息， 计算每一张目标图像的人体姿态信息； 步骤S6、 基于每一个人体的姿态轨迹 图像序列， 根据图像序列的人体姿态信息和预设 人体动作姿态指标， 对图像序列中连续预设数量帧的图像序列段进行动作识别， 以确定视 频序列中人体发生的行为动作。 2.根据权利要求1所述的人体行为动作识别方法， 其特征在于， 根据目标图像的位置信 息和目标图像中的人体关键点信息， 对相邻帧中同一人体的目标图像进行匹配， 包括： 根据目标图像的位置信息， 获取相邻帧中每一个目标图像的中心点坐标； 根据目标图 像中的人体关键点信息， 获取相邻帧中每一个目标图像的人体关键点信息； 根据相邻帧中每一个目标图像的中心点坐标和人体关键点信息， 计算上一帧第i个目 标图像与 当前帧第j个目标图像的相似度similarity， 获得M行N列的相似度矩阵； M为上一 帧目标图像的数量， N 为当前帧目标图像的数量； 相似度计算公式为： 其中， Pi(bx,by)为上一帧第i个 目标图像的中心点坐标； Qj(bx,by)为当前帧第j个 目标 图像的中心点坐标； Pi(kxm,kym)为上一帧第i个目标图像的第m个人体关键点坐标； Qj(kxm, kym)为当前帧第j个目标图像的第m个人体关键点坐 标； m＝1,2,3, …,s， s为人体关键 点的数 量； α 为i目标图像中心点与j目标图像中心点位置差的权重； β 为i目标图像人体关键点与j 目标图像人体关键点 位置差的权重； width表示视频帧的宽度； height 表示视频帧的高度； 选取相似度矩阵每一行中的最大值， 若最大值大于预设值， 则最大值对应的两个目标 图像匹配成功， 作为相邻帧中同一人体的目标图像。 3.根据权利要求1所述的人体行为动作识别方法， 其特征在于， 根据图像序列中的人体 姿态信息和预设人体动作姿态指标， 对图像序列中连续预设数量的图像序列段进 行动作识 别， 包括： 根据图像序列段的人体姿态信 息和预设人体动作姿态指标， 获得图像序列 段中符合预权　利　要　求　书 1/3 页 2 CN 115170998 A 2设人体动作姿态指标 的达标帧数； 根据达标帧数和图像序列段的总帧数， 获得图像序列段 中人体的每种预设行为动作的发生概率； 根据图像序列段中人体的每种预设行为动作的发 生概率， 确定图像序列段中人体发生的行为动作。 4.根据权利要求3所述的人体行为动作识别方法， 其特征在于， 根据图像序列段中人体 的每种预设行为动作的发生 概率， 确定图像序列段中人体发生的行为动作， 包括： 选取图像序列段中最大的行为动作发生概率， 若最大行为动作发生概率大于阈值， 则 确定图像序列段中人体发生了最大 行为动作发生 概率对应的行为动作。 5.根据权利要求1所述的人体行为动作识别方法， 其特 征在于， 人体关键点包括： 左肩膀、 右肩膀、 左肘、 右肘、 左手腕、 右手腕、 左髋、 右髋、 左膝盖、 右 膝盖、 左脚踝、 右脚踝。 6.根据权利要求1所述的人体行为动作识别方法， 其特 征在于， 人体姿态信息包括： UpLeftAngle信息， UpRightAngle信息， DownLeftAngle信息， DownRightAngle信息， BodyLeftAngle信息， BodyRightAngle信息， LegLeftAngle信息， LegRightAngle信息， head_foot_inverse信息， face_to_camera信息， LWrist_less_Rwrist 信息， HandLeftAngle信息， HandRightAngle信息， LWrist_less_Lelbow信息， RWri st_less_ Relbow信息， Shou lderLeftAngle信息， ShoulderRightAngle信息， LWri st_more_L shoulder 信息， RWrist_more_Rshoulder信息， distance_shoulders信息， distance_body信息， lowest_y信息， LeftWristShoulder Angle信息和RightWristShoulder Angle信息 。 7.根据权利要求1所述的人体行为动作识别方法， 其特 征在于， 包括以下步骤： 步骤A1、 获取当前视频帧； 步骤A2、 将当前视频帧输入人体目标检测模型， 获得当前视频帧中各个人体的目标框； 根据人体的目标框截取当前视频帧， 获得当前视频帧中各个人体的目标图像； 步骤A3、 将 目标图像输入单人体姿态估计模型， 获得当前视频帧每一张目标图像中单 人体的各个人体关键点； 步骤A4、 根据上一视频帧中目标图像的位置信息和目标图像的人体关键点信息， 以及 当前视频帧中目标图像的位置信息和目标图像的人体关键点信息， 对上一视频帧和当前视 频帧中属于同一人体的目标图像进 行匹配， 获得匹配结果； 根据匹配结果， 更新当前视频帧 所属视频序列中每一个人体的姿态轨 迹图像序列； 步骤A5、 根据当前视频帧中目标图像的人体关键点信息， 计算当前视频帧中每一张目 标图像的人体姿态信息； 步骤A6、 基于每一个人体的姿态轨迹 图像序列， 根据图像序列中的人体姿态信息和预 设人体动作姿态指标， 对图像序列中包含有当前视频帧的连续预设数量帧的图像序列段进 行动作识别。 8.一种人体行为动作识别装置， 其特 征在于， 包括： 获取模块， 用于获取视频序列， 视频序列包括连续的视频帧， 连续的视频帧中存在一个 以上的人体目标； 目标检测模块， 用于将视频序列输入人体目标检测模型， 获得每一个视频帧中各个人 体的目标框； 根据人体的目标框截取视频帧， 获得每一个视频帧中各个人体的目标图像； 人体关键点获取模块， 用于将目标图像输入单人体姿态估计模型， 获得每一张目标图权　利　要　求　书 2/3 页 3 CN 115170998 A 3