(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211122718.9 (22)申请日 2022.09.15 (71)申请人 北京有竹居网络技 术有限公司 地址 101299 北京市平谷区林荫北街13号 信息大厦802室 (72)发明人 杜正印　袁泽寰　卢靓妮　 (74)专利代理 机构 北京信远 达知识产权代理有 限公司 1 1304 专利代理师 贾小慧 (51)Int.Cl. G06F 16/75(2019.01) G06F 16/78(2019.01) G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种视频 标签生成方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种视频标签生 成方法， 在生 成待处理视频对应的视频标签时， 将待处理视频 输入预先生成的标签生成模型中， 该标签生成模 型包括第一子网络模型、 第二子网络模型和融合 子网络模型。 其中， 第一子网络模型用户提取待 处理视频的多模态特征向量， 第二子网络模型用 于提取待处理视频的弱相关特征向量， 融合子网 络模型用于将多模态特征向量与弱相关特征向 量进行融合， 获得融合特征向量。 在获取融合特 征向量后， 标签生成模型基于融合特征向量进行 标签预测。 可见， 本申请 的标签生成模型在预测 待处理视频的标签时， 联合了多模态特征向量和 弱相关特征向量， 增加了预测所使用的信息， 使 得标签生成模型能够更加准确地预测视频的标 签。 权利要求书2页 说明书9页 附图2页 CN 115455234 A 2022.12.09 CN 115455234 A 1.一种视频 标签生成方法， 其特 征在于， 该 方法包括： 获取待处 理视频； 将所述待处 理视频输入标签生成模型， 获得 所述标签生成模型 预测的视频 标签； 所述标签生成模型包括第一子网络模型、 第二子网络模型和融合子网络模型， 所述第 一子网络模型用于提取所述待处理视频的多模态特征向量， 所述第二子网络模型用于提取 所述待处理视频的弱相关特征向量， 所述融合子网络模型用于融合所述多模态特征向量和 所述弱相关特征向量， 获得融合特征向量， 所述标签生成模型用于基于所述融合特征向量 进行标签预测。 2.根据权利要求1所述的方法， 其特征在于， 所述多模态特征向量包括基于所述待处理 视频的基础信息提取的特征向量， 所述弱相关特征向量包括基于所述待处理视频的附加信 息所提取的特 征向量。 3.根据权利要求2所述的方法， 其特征在于， 所述基础信 息包括所述待处理视频的视觉 信息、 图像信息和文本信息， 所述附加信息包括除所述基础信息外的与所述待处理视频相 关的信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述附加信息包括以下一种或多种： 所述 待处理视频的发布位置、 所述待处 理视频的播 放次数、 点赞次数、 转发次数。 5.根据权利要求2 ‑4任一项所述的方法， 其特征在于， 所述第二子网络模型的实现过程 包括： 针对具有唯一标识的附加信 息， 根据所述唯一标识以及第 一对应关系获取所述附加信 息对应的第一特征向量， 所述第一对应关系包括所述唯一标识与所述第一特征向量之 间的 对应关系； 针对需要进行分桶的附加信 息， 根据所述附加信 息对应的分桶结果以及第 二对应关系 获取所述附加信息对应的第二特征向量， 所述第二对应关系包括所述分桶结果与所述第二 特征向量之间的对应关系。 6.根据权利要求5所述的方法， 其特 征在于， 所述方法还 包括： 更新所述唯一标识对应的第一特 征向量， 和/或所述分桶结果对应的第二特 征向量。 7.根据权利要求1所述的方法， 其特 征在于， 所述标签生成模型的训练过程包括： 获取携带有标签的训练视频； 将所述训练视频输入初始网络模型中， 获取所述初始网络模型输出的预测标签， 所述 初始网络模型包括第一子网络模型、 第二子网络模型和融合子网络模型； 基于所述预测标签以及所述训练视频对应的标签对所述初始网络模型中的所述第一 子网络模型、 第二子网络模型和融合子网络模型 的参数进行更新， 重复执行将所述训练视 频输入所述初始网络模型中， 获取预测标签以及后续步骤， 直至满足预设条件， 获得所述标 签生成模型。 8.一种视频 标签生成装置， 其特 征在于， 所述装置包括： 第一获取 单元， 用于获取待处 理视频； 第二获取单元， 用于将所述待处理视频输入标签生成模型， 获得所述标签生成模型预 测的视频 标签； 所述标签生成模型初始网络模型包括第 一子网络模型、 第 二子网络模型和融合子网络权　利　要　求　书 1/2 页 2 CN 115455234 A 2模型， 所述第一子网络模型用于提取所述待处理视频的多模态特征向量， 所述第二子网络 模型用于提取所述待处理视频的弱相关特征向量， 所述融合子网络模型用于融合所述多模 态特征向量和所述弱相关特征向量， 获得融合特征向量， 所述标签生成模型用于基于所述 融合特征向量进行 标签预测。 9.一种电子设备， 其特 征在于， 所述设备包括： 处 理器和存 储器； 所述存储器， 用于存 储指令或计算机程序； 所述处理器， 用于执行所述存储器中的所述指令或计算机程序， 以使得所述电子设备 执行权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有指令， 当所述指令在设备 上运行时， 使得 所述设备 执行权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115455234 A 3