(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210715895.1 (22)申请日 2022.06.23 (71)申请人 浙江师范大学 地址 321004 浙江省金华市迎宾大道68 8号 (72)发明人 黄琼浩　黄昌勤　蒋凡　王译　 涂雅欣　韩中美　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 余凯欢 (51)Int.Cl. G06Q 50/20(2012.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 40/30(2020.01) (54)发明名称 一种基于时域因果信息的多模态教育资源 自动标注方法 (57)摘要 本发明公开了一种基于时域因果信息的多 模态教育资源自动标注方法， 包括： 构建多层级 教育资源使用记录的描述框架； 根据所述描述框 架进行多模态教育资源使用记录采集， 并对采集 到的教育资源使用记录进行时域因果干预； 对教 育资源多模态使用过程数据进行融合表示； 根据 所述多模态教育资源的融合表示， 构建线上 ‑线 下增量学习标注模型； 将待 标注多模态教育资源 输入所述线上 ‑线下增量学习标注模型， 输出教 育资源标注结果。 本发明实施例准确率高且鲁棒 性高， 可广泛应用于 计算机技 术领域。 权利要求书3页 说明书11页 附图1页 CN 115170360 A 2022.10.11 CN 115170360 A 1.一种基于时域因果信息的多模态教育资源自动标注方法， 其特 征在于， 包括： 构建多层级教育资源使用记录的描述框架； 根据所述描述框架进行多模态教育资源使用记录采集， 并对采集到的教育资源使用记 录进行时域因果干预； 对教育资源多模态使用过程数据进行融合表示； 根据所述多模态教育资源的融合表示， 构建线上 ‑线下增量学习标注模型； 将待标注多模态教育资源输入所述线上 ‑线下增量学习标注模型， 输出教育资源标注 结果。 2.根据权利要求1所述的一种基于时域因果信息的多模态教育资源自动标注方法， 其 特征在于， 所述构建多层级教育资源使用记录的描述框架， 具体为： 根据在线教育情境特 点， 建立“行为‑目标‑状态”三层级资源使用语义描述机制， 该步骤 包括： 构建描述行为层： 根据学习场景资源使用特点， 利用时序谓词逻辑表达方法， 构建 “用 户‑资源‑动作”的交互关系语义模 型， 其中， 所述交互关系语义模型用于描述学习场景中用 户、 资源之间的作用关系， 建立各个要 素的词表及其 实例关系集； 所述各个要 素包括但不限 于行为、 目标、 教育资源使用状态； 构建描述目标层： 根据BDI模型并引入学习资源领域知识， 构建具有动作前件 ‑动作后 件‑使用状态的动作 ‑目标‑状态操作语义表示， 将目标和资源使用状态引入到用户动作的 操作语义， 实现动作、 目标、 资源使用状态三个层次的关联； 构建描述资源使用状态层： 从记录日志中直接提取或者用预训练 的机器学习 模型间接 提取资源使用效果评估指标集 合。 3.根据权利要求2所述的一种基于时域因果信息的多模态教育资源自动标注方法， 其 特征在于， 所述 根据所述描述框架进行多模态教育资源使用记录采集， 包括： 根据线上流式日志数据和多媒体传感数据， 借助多类型深度神经网络学习算法， 结合 三层级资源使用语义描述机制， 构建学习场景中用户和资源识别、 用户 ‑资源‑动作的交互 关系抽取方法， 完成在线跨时域原始资源使用过程数据语义化描述， 实现多模态时序过程 数据语义 化感知与组织； 其中， 语义化的过程数据表示为{(raw,Lt,tlink)}， draw表示原始采集数据， Lt表示从三层 语义描述机制获取语义 化标签集 合， tlink表示时间信息记录 字段； 其中， 所述线上流式日志数据和多媒体传感数据包括但不限于线上结构化学习日志数 据、 音频数据、 文本数据以及视频 数据。 4.根据权利要求1所述的一种基于时域因果信息的多模态教育资源自动标注方法， 其 特征在于， 所述对 采集到的教育资源使用记录进行时域因果干预， 包括： 针对学习过程多模态教育资源使用的时序因果特性， 以时态分布 因果关系视角进行去 混淆过程建模； 基于学习过程时序事件因果关系角度出发， 借助学习过程数据可感知语义化标签集 合， 构建时序 因果关系约束预训练的干预机制， 从离散事件角度拟合等式连续时域去混淆 过程表征； 构建面向多模态x ‑Transformer基于离散时序Mask算子干预学习机制， 其中， x ‑ Transformer中的x表示 不同模态数据。权　利　要　求　书 1/3 页 2 CN 115170360 A 25.根据权利要求4所述的一种基于时域因果信息的多模态教育资源自动标注方法， 其 特征在于， 所述基于学习过程时序事件因果关系角度出发， 借助学习过程数据可感知语义 化标签集合， 构建时序 因果关系约束预训练的干预机制， 从离散事件角度拟合等式连续时 域去混淆 过程表征， 包括： 基于学习过数据可感知语义化标签集合， 构造学习行为过程事件 ‑事件、 事件 ‑时间关 系集合及时序标签集 合和因果关系标签集 合； 在学习过程数据时序维度上， 构造学习行为事 件时序标签约束计算方法； 构造完整时序因果关系约束方法， 为面向学习过程数据的Mask位置选取计算进行正则 化约束求 解。 6.根据权利要求1所述的一种基于时域因果信息的多模态教育资源自动标注方法， 其 特征在于， 所述对教育资源多模态使用过程数据进行融合表示， 包括： 基于已语义化组织学习过程数据， 采用架构灵活的x ‑Transformer作为底层通用骨干 网络,结合不同数据类型特征， 采用领域内通用优化方法， 进行x ‑Transformer架构优化调 整； 其中， x表示 不同模态数据； 抽取不同模态数据的特 征关联， 构建 关联度计算 函数， 用于跨模态 注意力融合增强； 构建跨模态时序注意力融合模型， 先对数据按预设的间隔时间组合以采集 时序对齐的 各个时刻的数据， 然后输入到一个由跨模态注意力融合模块堆叠的循环网络中， 先对同一 时刻的数据做融合， 再在时间维度进行 特征扩散以获取模态不变的语义表示； 完成多模态跨时域教育资源使用过程数据的融合， 得到关于特定教育资源特 征集合。 7.根据权利要求1所述的一种基于时域因果信息的多模态教育资源自动标注方法， 其 特征在于， 所述根据所述多模态教育资源的融合表示， 构建线上 ‑线下增量学习标注模型， 包括： 针对标签或词汇的语义增量类， 首先采用语义本体技术对采样的文本词汇进行语义分 析， 对其中的新增文本词汇， 采集新增文本词汇的多模态信息， 获取新增文本词汇的多模态 特征， 将所述多模态特征和对应的文本词汇构建双元组特征， 根据所述双元组特征， 构建对 应的二分类学习任务， 以识别新增文本词汇和非新增文本词汇， 完成第一类增量学习； 针对资源使用过程的显著表示特征， 首先获取资源使用过程数据的语义特征表示， 对 于这些获取的语义特征表示， 与该教育 资源对应已有的资源使用过程相关语义表征进 行比 较， 通过显著性来判断是否为新增显著表示特征， 对于判定为新增的显著特征， 加入相应的 教育资源使用过程特征库中， 并保留相应的相关文本语义， 为下次增量学习做 准备， 完成第 二类增量学习。 8.根据权利要求1所述的一种基于时域因果信息的多模态教育资源自动标注方法， 其 特征在于， 所述将待标注多模态教育资源输入所述线 上‑线下增量学习标注模型， 输出教育 资源标注结果， 包括： 构建需要标注的教育资源特 征表示； 获取标签库的标签深度语义表示； 构造教育资源标签自动标注模型； 通过教育资源标签自动标注模型输出多模态教育资源标注结果； 根据教育资源标签自动标注模型中样本数据与标签数据之间的相似度大小进行教育权　利　要　求　书 2/3 页 3 CN 115170360 A 3