(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211244080.6 (22)申请日 2022.10.12 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 李晓川　李仁刚　郭振华　赵雅倩　 范宝余　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 常亮 (51)Int.Cl. G06N 5/04(2006.01) G06K 9/62(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01)G06V 10/80(2022.01) (54)发明名称 一种人物意图推理方法及相关装置 (57)摘要 本申请公开了一种人物意图推理方法及相 关装置， 涉及人工智能技术领域， 包括： 将提取的 图像检测特征、 问句文本特征以及候选文本特征 加入至初始异质图进行初始化， 得到异质图； 其 中， 所述初始异质图包括视觉空间、 上下文空间 以及候选文空间； 基于注意力权重和边权重， 通 过注意力矩 阵和边矩 阵对所述异质图进行更新 处理， 得到筛选特征； 将所述筛选特征进行拼接， 得到融合特征； 基于所述融合特征进行人物意图 推理， 得到推理结果。 以对特征进行筛选提高人 物意图推理的准确性。 本申请还公开了一种人物 意图推理装置、 终端设备以及计算机可读存储介 质， 具有以上有益效果。 权利要求书3页 说明书12页 附图5页 CN 115310611 A 2022.11.08 CN 115310611 A 1.一种人物意图推理方法， 其特 征在于， 包括： 将提取的图像检测特征、 问句文本特征以及候选文本特征加入至初始异质图进行初始 化， 得到异质图； 其中， 所述初始 异质图包括视 觉空间、 上 下文空间以及候选文空间； 基于注意力权重和边权重， 通过注意力矩阵和边矩阵对所述异质图进行更新处理， 得 到筛选特征； 将所述筛 选特征进行拼接， 得到融合特 征； 基于所述融合特 征进行人物意图推理， 得到推理结果。 2.根据权利要求1所述的人物意图推理方法， 其特征在于， 当所述候选文本特征为候选 答案特征时， 所述将提取 的图像检测特征、 问句文本特征以及候选文特征加入至初始异质 图进行初始化， 得到异质图， 包括： 对多个类型的原始数据进行特征提取， 得到所述图像检测特征、 所述问句文本特征以 及所述候选答案特 征； 将所述图像检测特征加入至所述初始异质图的视觉空间， 将所述问句文本特征加入至 所述初始 异质图的上 下文空间， 所述 候选答案特 征加入至所述初始 异质图的候选文空间； 对所述初始 异质图进行 赋值初始化， 得到所述异质图。 3.根据权利要求1所述的人物意图推理方法， 其特征在于， 当所述候选文本特征为候选 解释特征时， 所述将提取 的图像检测特征、 问句文本特征以及候选文特征加入至初始异质 图进行初始化， 得到异质图， 包括： 对多个类型的原始数据进行特征提取， 得到所述图像检测特征、 所述问句文本特征以 及所述候选解释特 征； 获取推理的所选答案特 征； 将所述图像检测特征加入至所述初始异质图的视觉空间， 将所述问句文本特征和所述 所选答案特征加入至所述初始异质图的上下文空间， 所述候选解释特征加入至所述初始异 质图的候选文空间； 对所述初始 异质图进行 赋值初始化， 得到所述异质图。 4.根据权利要求2至3任一项所述的人物意图推理方法， 其特征在于， 对所述初始异质 图进行赋值初始化， 得到所述异质图， 包括： 基于特征值对所述初始 异质图中的每 个节点进行 赋值； 基于所述初始异质图中的每个节点的关联关系对节点之间的边进行赋值， 得到所述异 质图。 5.根据权利要求1所述的人物意图推理方法， 其特征在于， 基于注意力权重和边权重， 通过注意力矩阵和边矩阵对所述异质图进行 更新处理， 得到筛选特征， 包括： 按照预设更新顺序计算所述异质图的两个空间的节点之间的注意力 权重， 并计算每个 边之间的边权 重； 基于所述注意力 权重和所述边权重， 通过注意力矩阵和边矩阵对所述异质图进行更新 处理， 得到筛选特征。 6.根据权利要求1所述的人物意图推理方法， 其特征在于， 将所述筛选特征进行拼接， 得到融合特 征， 包括： 将得到的多种筛 选特征进行堆叠， 得到所述融合特 征。权　利　要　求　书 1/3 页 2 CN 115310611 A 27.根据权利要求1所述的人物意图推理方法， 其特征在于， 基于所述融合特征进行人物 意图推理， 得到推理结果， 包括： 通过特征编码器对所述融合特 征进行编码， 得到特 征编码； 通过打分器对所述特 征编码进行 预测， 得到所述推理结果。 8.根据权利要求1所述的人物意图推理方法， 其特 征在于， 在 初始化之前还 包括： 获取图像、 问句文本以及候选文本； 对所述图像、 问句文本以及候选文本进行编码， 得到编码结果； 对所述编码结果进行特征提取， 得到所述图像检测特征、 所述问句文本特征以及所述 候选文本特 征。 9.根据权利要求8所述的人物意图推理方法， 其特征在于， 对所述图像进行编码， 得到 编码结果， 包括： 采用检测网络对所述图像进行提取， 得到若干感兴趣区域； 按照预设维度将所述若干感兴趣区域进行压缩， 得到所述图像的编码结果。 10.根据权利要求1所述的人物意图推理方法， 其特征在于， 所述初始异质图的构建过 程， 包括： 构建视觉空间、 上 下文空间以及候选文空间； 将所述视 觉空间指向所述上 下文空间和所述 候选文空间， 得到所述初始 异质图。 11.一种人物意图推理方法， 其特 征在于， 包括： 客户端向服务器发送图像、 问句文本以及候选文本， 以便所述服务器进行特征提取， 将 提取的图像检测特征、 问句文本特征以及候选文本特征加入至初始异质图进行初始化， 得 到异质图； 其中， 所述初始异质图包括视觉空间、 上下文空间以及候选文空间； 基于注意力 权重和边权重， 通过注意力矩阵和边矩阵对所述异质图进行更新处理， 得到筛选特征； 将所 述筛选特征进 行拼接， 得到融合特征； 基于所述融合特征进 行人物意图推理， 得到返回推理 结果； 将所述推理结果在预设屏幕区域中进行显示。 12.一种人物意图推理方法， 其特 征在于， 包括： 服务器接收到客户端发送的图像、 问句文本以及候选文本， 并进行 特征提取； 将提取的图像检测特征、 问句文本特征以及候选文本特征加入至初始异质图进行初始 化， 得到异质图； 其中， 所述初始 异质图包括视 觉空间、 上 下文空间以及候选文空间； 基于注意力权重和边权重， 通过注意力矩阵和边矩阵对所述异质图进行更新处理， 得 到筛选特征； 将所述筛 选特征进行拼接， 得到融合特 征； 基于所述融合特 征进行人物意图推理， 得到推理结果； 将所述推理结果发送至所述 客户端。 13.一种人物意图推理装置， 其特 征在于， 包括： 异质图初始化模块， 用于将提取的图像检测特征、 问句文本特征以及候选文本特征加 入至初始异质图进行初始化， 得到异质图； 其中， 所述初始异质图包括视觉空间、 上下文空 间以及候选文空间； 异质图更新模块， 用于基于注意力权重和边权重， 通过注意力矩阵和边矩阵对所述异权　利　要　求　书 2/3 页 3 CN 115310611 A 3