(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211154081.1 (22)申请日 2022.09.21 (71)申请人 北京京东尚科信息技 术有限公司 地址 100086 北京市海淀区知春路76号8层 (72)发明人 刘鑫辰　刘武　杨权威　梅涛　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 严慧 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/25(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 40/20(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种动作迁移方法、 装置、 终端设备及存储 介质 (57)摘要 本发明实施例公开了一种动作迁移方法、 装 置、 终端设备及存储介质， 其中该方法包括： 获取 驱动图像中第一对象的关键点连接图和源图像 中第二对象的各预设区域的第一 分割图； 关键点 连接图表征第一对象 的驱动姿态； 根据关键点连 接图和第一 分割图， 生成各预设区域符合驱动姿 态的第二分割图； 根据第二分割图和源图像的第 一前景图， 生成驱动姿态下第二对象的第二前景 图； 将第二前景图与源图像的第一背景图进行融 合， 得到动作迁移图像。 通过上述技术方案， 得到 了逼真的动作迁移图像， 并且本发 明抛弃了原有 的Warp操作， 能够更好地适应姿态差异的情景， 保证生成视频中人物的真实性， 提高用户的视觉 体验。 权利要求书3页 说明书18页 附图9页 CN 115471658 A 2022.12.13 CN 115471658 A 1.一种动作迁移方法， 其特 征在于， 包括： 获取驱动图像中第一对象的关键点连接图和源 图像中第二对象的各预设区域的第一 分割图； 所述关键点连接图表征 所述第一对象的驱动姿态； 根据所述关键点连接图和所述第 一分割图， 生成所述各预设区域符合所述驱动姿态的 第二分割图； 根据所述第 二分割图和所述源图像的第 一前景图， 生成所述驱动姿态下所述第 二对象 的第二前 景图； 将所述第二前 景图与所述源图像的第一背景图进行融合， 得到动作迁移图像。 2.根据权利要求1所述的方法， 其特征在于， 在所述生成所述各预设区域符合所述驱动 姿态的第二分割图之后， 还 包括： 根据所述第一分割图和所述第二分割图确定对齐参数； 在所述根据所述第 二分割图和所述源图像的第 一前景图， 生成所述驱动姿态下所述第 二对象的第二前 景图之前， 还 包括： 根据所述对齐参数对所述第 一前景图进行变换， 以使所述第 一前景图与所述第 二分割 图对齐。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一分割图和所述第 二分割 图确定对齐参数， 包括下述至少一项： 根据所述第一分割图和所述第二分割图中所述各 预设区域的尺寸， 确定缩放 参数； 根据所述第一分割图和所述第二分割图中所述各预设区域的中心坐标， 确定位移参 数。 4.根据权利要求1所述的方法， 其特征在于， 所述第 二分割图通过第 一生成对抗网络生 成， 且通过 所述第一 生成对抗网络生成所述第二分割图的步骤， 包括： 通过第一编码器对所述第一分割图编码， 得到第一特 征图； 通过第二编码器对所述关键点连接图编码， 得到第二特 征图； 通过第一解码器对所述第 一特征图和所述第 二特征图的融合图进行解码， 得到第 二分 割图。 5.根据权利要求4中所述的方法， 其特征在于， 若所述驱动图像为视频帧， 则所述方法 还包括： 获取与当前视频帧前 预设数量个视频帧对应的历史第二分割图； 通过第三编码器对各 所述历史第二分割图进行编码， 得到第三特 征图； 相应的， 所述通过第一解码器对第一特征图和第二特征图的融合图进行解码， 得到第 二分割图， 包括： 通过第一解码器对第一特征图、 第二特征图和第三特征图的融合图进行解码， 得到第 二分割图。 6.根据权利要求5中所述的方法， 其特 征在于， 在所述得到第三特 征图之后， 还 包括： 通过第二解码器对所述第 二特征图和所述第 三特征图的融合图进行解码， 得到光流参 数和权重参数； 在所述得到第二分割图之后， 还 包括： 根据与所述当前视频帧前一视频帧对应的历史第 二分割图、 所述光流参数和所述权重权　利　要　求　书 1/3 页 2 CN 115471658 A 2参数， 对所述第二分割图进行调整。 7.根据权利要求4中所述的方法， 其特征在于， 所述第一生成对抗网络的训练步骤， 包 括： 获取样本驱动图像中第一对象的所述各 预设区域的第三分割图； 确定与样本源图像对应的第 二分割图， 和与所述样本驱动图像对应的第 三分割图的第 一损失； 根据所述第一损失， 对所述第一 生成对抗网络进行训练。 8.根据权利要求1所述的方法， 其特征在于， 所述第 二前景图通过第 二生成对抗网络生 成， 且通过 所述第二 生成对抗网络生成所述第二前 景图的步骤， 包括： 通过第四编码器对所述第二分割图进行编码， 得到第四特 征图； 通过第五编码器对所述第一前 景图进行编码， 得到第五特 征图； 通过第三解码器对所述第四特征图和所述第五特征图的融合图进行解码， 得到第 二前 景图。 9.根据权利要求8中所述的方法， 其特征在于， 若所述驱动图像为视频帧， 则所述通过 第五编码器对所述第一前 景图进行编码， 得到第五特 征图， 包括： 获取与当前视频帧前 预设数量个视频帧对应的历史第二前 景图； 通过第五编码器对所述第 一前景图和各所述历史第 二前景图的融合图进行编码， 得到 第五特征图。 10.根据权利要求8所述的方法， 其特征在于， 所述第二生成对抗网络的训练步骤， 包 括： 获取样本驱动图像中第一对象的所述各 预设区域的第三分割图； 确定与样本源图像对应的第 二前景图， 和与所述样本源图像对应的前景真值图之间的 第二损失； 确定与样本源图像对应的第 二前景图， 和与所述样本驱动图像对应的第 三分割图的第 三损失； 根据所述第二损失和所述第三损失， 对所述第二 生成对抗网络进行训练。 11.根据权利要求1所述的方法， 其特征在于， 在所述生成所述驱动姿态下所述第二对 象的第二前 景图之后， 还 包括： 根据所述第一前 景图与所述第二前 景图， 确定纹 理增强参数； 根据所述纹 理增强参数和所述第一前 景图， 对所述第二前 景图进行纹 理增强。 12.根据权利要求1所述的方法， 其特征在于， 所述将所述第二前景图与所述源图像的 第一背景图进行融合， 包括： 根据所述第二分割图和所述关键点连接图， 确实姿态掩膜图； 根据所述姿态掩膜图和所述第一背景图， 确定第二背景图； 将所述第二前 景图与所述第二背景图进行融合。 13.根据权利要求1 ‑12中任一所述的方法， 其特 征在于， 所述第二对象包括虚拟对象。 14.一种动作迁移装置， 其特 征在于， 包括： 图像获取模块， 用于获取驱动图像中第 一对象的关键点连接图和源图像中第 二对象的 各预设区域的第一分割图； 所述关键点连接图表征 所述第一对象的驱动姿态；权　利　要　求　书 2/3 页 3 CN 115471658 A 3