(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210522410.7 (22)申请日 2022.05.13 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 徐枫　明鑫　雍俊海　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01)G06V 10/74(2022.01) (54)发明名称 模式生物的视频动作分析方法、 装置、 设备 及介质 (57)摘要 本申请涉及生物影像处理技术领域， 特别涉 及一种模式生物的视频动作分析方法、 装置、 设 备及介质， 其中， 方法包括： 获取目标模式生物的 待分析影像； 将待分析影像输入至预先训练完成 的特征提取器， 提取待分析影像中每个影像帧的 类别标签， 并基于每个影像帧的类别标签将待分 析影像分割为多个视频段， 其中， 特征提取器基 于携带有影像帧类别标签的影像样 本训练得到； 计算所有视频段之间的类别相似度， 并聚合类别 相似度大于预设值的视频段， 得到至少一个聚合 结果， 并识别至少一个聚合结果得到目标模式生 物的实际动作类型。 由此， 本申请实施例可以自 动完成对模式生物视频的动作分析， 无需任何人 工干预， 且可 以能够应用于多种模式生物， 扩展 性强。 权利要求书2页 说明书6页 附图1页 CN 115115967 A 2022.09.27 CN 115115967 A 1.一种模式生物的视频动作分析 方法， 其特 征在于， 包括以下步骤： 获取目标模式生物的待分析影 像； 将所述待分析影像输入至预先训练完成的特征提取器， 提取所述待分析影像中每个影 像帧的类别标签， 并基于所述每个影像帧的类别标签将所述待分析影像分割为多个视频 段， 其中， 所述特 征提取器 基于携带有影 像帧类别标签的影 像样本训练得到； 计算所有视频段之间的类别相似度， 并聚合所述类别相似度大于预设值的视频段， 得 到至少一个聚合结果， 并识别所述至少一个聚合结果得到所述目标模式生物的实际动作类 型。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述待分析影像输入至预先训练完 成的特征提取器， 提取 所述待分析影 像中每个影像帧的类别标签， 包括： 提取每个影像帧的类别特 征， 并将所述类别特 征的维度降低至目标维度； 对降维后的类别特 征进行类别聚类， 对相同类别的影 像帧赋予相同的类别标签。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述每个影像帧的类别标签将所 述待分析影 像分割为多个视频 段， 包括： 通过动态规划策略对所述待分析影像分割进行粗粒度分割， 得到所述多个视频段， 其 中， 所述动态规划策略为每个视频段中影像 帧数小于预设帧数， 且所述视频段中所有影像 帧数的类别标签一 致。 4.根据权利要求1所述的方法， 其特征在于， 所述识别所述至少一个聚合结果得到所述 目标模式生物的实际动作类型， 包括： 获取三维重建得到的所述目标模式生物的运动速度信息； 将所有聚合结果的维度降维至二维， 并以所述运动速度信 息作为降维后聚合结果的第 三维度， 生成每 个聚合结果的三维坐标； 基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类， 得 到所述目标模式生物的实际动作类型。 5.一种模式生物的视频动作分析装置， 其特 征在于， 包括： 获取模块， 用于获取目标模式生物的待分析影 像； 提取模块， 用于将所述待分析影像输入至预先训练完成的特征提取器， 提取所述待分 析影像中每个影像帧的类别标签， 并基于所述每个影像帧的类别标签将所述待分析影像分 割为多个视频 段， 其中， 所述特 征提取器 基于携带有影 像帧类别标签的影 像样本训练得到； 分析模块， 用于计算所有视频段之间的类别相似度， 并聚合所述类别相似度大于预设 值的视频段， 得到至少一个聚合结果， 并识别所述至少一个聚合结果得到所述目标模式生 物的实际动作类型。 6.根据权利要求5所述的装置， 其特 征在于， 所述 提取模块用于： 提取每个影像帧的类别特 征， 并将所述类别特 征的维度降低至目标维度； 对降维后的类别特 征进行类别聚类， 对相同类别的影 像帧赋予相同的类别标签。 7.根据权利要求5所述的装置， 其特 征在于， 所述 提取模块用于： 通过动态规划策略对所述待分析影像分割进行粗粒度分割， 得到所述多个视频段， 其 中， 所述动态规划策略为每个视频段中影像 帧数小于预设帧数， 且所述视频段中所有影像 帧数的类别标签一 致。权　利　要　求　书 1/2 页 2 CN 115115967 A 28.根据权利要求5所述的装置， 其特 征在于， 所述分析模块用于： 获取三维重建得到的所述目标模式生物的运动速度信息； 将所有聚合结果的维度降维至二维， 并以所述运动速度信 息作为降维后聚合结果的第 三维度， 生成每 个聚合结果的三维坐标； 基于每个聚合结果的三维坐标对对所有类别解释结果进行可视化和动作类型聚类， 得 到所述目标模式生物的实际动作类型。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑4任一项所 述的模式生物的视频动作分析 方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑4任一项所述的模式生物的视频动作分析 方法。权　利　要　求　书 2/2 页 3 CN 115115967 A 3