(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210526452.8 (22)申请日 2022.05.16 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市屯溪路193号 (72)发明人 何煦　赵冲　董浩杰　卫星　 陈逸康　李宝璐　陆阳　 (74)专利代理 机构 上海汉之律师事务所 31378 专利代理师 冯华 (51)Int.Cl. G06F 16/906(2019.01) G06F 16/901(2019.01) G06F 16/2455(2019.01) G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 基于场景图的行为判定方法、 系统、 设备及 存储介质 (57)摘要 本发明提供一种基于场景图的行为判定方 法、 系统、 设备及存储介质， 属于行为判定技术领 域。 基于场景图的行为判定方法包括： 获取待判 定的场景图片序列； 提取场景图片序列中各场景 图片的特征信息和序列信息， 构建场景图； 提取 当前场景中预设的具体规则的多个 关键词， 获得 与关键词相匹配的多个结点； 提取与关键词相匹 配的每个结点对应的边的信息； 将所述边的信息 与结点结合后， 计算与所述具体规则中各规则的 相似度， 对行为进行判定。 解决了由人工识别具 体行为工作量大， 成本高的问题。 权利要求书2页 说明书8页 附图5页 CN 114817670 A 2022.07.29 CN 114817670 A 1.一种基于场景图的行为判定方法， 其特 征在于， 包括以下 过程： 获取待判定的场景图片序列， 所述场景图片序列包括多张同一行为的场景图片； 提取所述场景图片序列中各场景图片的特 征信息和序列信息， 构建场景图； 提取当前场景中预设的具体规则的多个关键词， 获得与关键词相匹配的多个结点； 提取与关键词相匹配的每 个结点对应的边的信息； 将所述边的信息与结点结合后， 计算与所述具体规则中各规则的相似度， 对行为进行 判定。 2.根据权利要求1所述的基于场景图的行为判定方法， 其特征在于， 所述提取所述场景 图片序列中各场景图片的特 征信息和序列信息， 构建场景图， 包括以下 过程： 使用预先训练好的卷积神经网络模型提取所述场景图片序列中各场景图片的特征信 息， 作为场景图的结点信息； 使用预先训练好的多头自注意力机制模型提取所述场景图片序列中各场景图片的序 列信息， 作为场景图的边信息， 构建场景图。 3.根据权利要求2所述的基于场景图的行为判定方法， 其特征在于， 所述使用预先训练 好的多头自注意力机制提取所述场景图片序列中各场景图片的序列信息， 作为场景图的边 信息， 包括以下 过程： 对所述场景图片进行切分， 获得多个图像块； 按照设定顺序提取各图像块包含的像素， 并对各像素信息加入位置向量， 获得一维嵌 入序列； 将所述一维嵌入序列输入至双向长短期记忆网络， 提取所述一维嵌入序列的时序特 征， 获得序列信息 。 4.根据权利要求1所述的基于场景图的行为判定方法， 其特征在于， 所述提取预设的当 前场景对应具体规则的多个关键词包括以下过程： 基于预设的词向量模型， 将所述具体规 则与预设的场景库中的各关键词进行匹配， 得到所述具体规则中含有的多个关键词。 5.根据权利要求1所述的基于场景图的行为判定方法， 其特征在于， 所述计算与所述具 体规则中各规则的相似度， 包括以下 过程： 对所述边的信 息与结点结合后的信 息序列和当前规则分别分词处理， 获得所述信 息序 列包含的词组和当前规则包 含的词组； 分别计算所述信息序列中各词组的词频， 和当前规则中各词组的词频； 计算并累加所述信 息序列中各词组 的词频和当前规则中各词组 的词频的余弦相似度， 获得所述信息序列 与当前规则的相似度。 6.根据权利要求5所述的基于场景图的行为判定方法， 其特征在于， 所述对所述信 息序 列和当前规则分别分词处理之前， 还包括： 对所述信息序列和/或所述当前规则进 行数据清 洗。 7.根据权利要求6所述的基于场景图的行为判定方法， 其特征在于， 所述数据清洗为去 除所述信息序列和/或所述当前规则中重复出现的词组。 8.一种基于场景图的行为判定系统， 其特 征在于， 所述系统包括： 场景图片获取模块， 用于获取待判定的场景图片序列， 所述场景图片序列包括多张同 一行为的场景图片；权　利　要　求　书 1/2 页 2 CN 114817670 A 2场景图生成模块， 用于提取所述场景图片序列中各场景图片的特征信息和序列信息， 构建场景图； 匹配模块， 用于提取当前场景中预设的具体规则的多个关键词， 获得与关键词相匹配 的多个结点； 边信息提取模块， 用于提取与关键词相匹配的每 个结点对应的边的信息； 判定模块， 用于将所述边的信息与结点结合后， 计算与所述具体规则中各规则的相似 度， 对行为进行判定 。 9.一种基于场景图的行为判定设备， 其特征在于： 包括处理器， 所述处理器与存储器耦 合， 所述存储器存储有程序指令， 当所述存储器存储的程序指令被所述处理器执行时实现 权利要求1至7中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于： 包括程序， 当所述程序在计算机上运行时， 执行如权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114817670 A 3