(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211153620.X (22)申请日 2022.09.21 (71)申请人 郑州大学 地址 450001 河南省郑州市 市辖区高新 技 术开发区科 学大道100号郑州大 学 (72)发明人 张大伟　张焱铭　杨停停　孙钢灿　 (74)专利代理 机构 郑州亦鼎知识产权代理事务 所(普通合伙) 41188 专利代理师 王璐 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/147(2022.01) G06V 10/82(2022.01) G06V 10/10(2022.01) (54)发明名称 一种家庭助老全景云机器人及其全景人体 行为识别方法 (57)摘要 本发明公开了一种家庭助老全景云机器人 及其全景人体行为识别方法， 其中， 家庭助老全 景云机器人包括全景摄像机， 所述全 景摄像机还 包含广角摄像头， 所述每个广角摄像头配备一个 视场角大于180 °的鱼眼镜头， 所述鱼眼镜头围绕 所述光角摄像头的垂直光轴间隔180 °固定安装， 广角摄像头和鱼眼镜头相互配合， 能够实时获得 没有视野盲区的全景图像。 其中， 家庭助老全景 云机器人的全景人体行为识别方法包括相融合 的Slowfast算法、 TCN算法和CNN算法。 通过利用 Slowfast算 法分析RGB环境特征， 并利用TCN算法 补充人体运动特征， 利用CNN算法补充人体结构 特征， 最终能够提高助老机器人在全 景视觉下的 行为识别的准确率。 权利要求书2页 说明书8页 附图5页 CN 115512438 A 2022.12.23 CN 115512438 A 1.一种家庭助老全景云机器人， 包括全景摄像机、 5G通信终端、 处理器和运动机构， 其 特征在于， 所述全景摄像机还包含广角摄像头， 所述每个广角摄像头配备一个视场角大于 180°的鱼眼镜 头， 所述鱼眼镜 头围绕所述 光角摄像头的垂直 光轴间隔180 °固定安装。 2.如权利要求1所述的一种家庭助老全景云机器人， 其特征在于， 所述运动机构作为机 器人的底盘， 主要由电源、 移动机构、 升降机构、 测距传感器和控制器构成， 所述全景摄像 机、 5G通信终端和处 理器安装在机器人的底盘上。 3.如权利要求2所述的一种家庭助老全景云机器人， 其特征在于， 所述鱼眼镜头的视场 角为210°。 4.如权利要求3所述的一种家庭助老全景云机器人， 其特征在于， 还包括边缘计算器和 云服务器。 5.如权利要求4所述的一种家庭助老全景云机器人， 其特征在于， 所述机器人通过5G通 信终端以点对点的通讯方式接入边 缘计算器。 6.如权利要求1 ‑5所述的一种家庭助老全景云机器人的全景人体行为识别方法， 包括 RGB特征和姿态骨架特 征， 其特征在于， 同时处 理RGB特征与姿态骨架特 征， 包括以下步骤： 步骤一： 通过全景摄 像机获取原 始数据； 步骤二： 采用Openpose模型处理原始数据， 估计人体姿态骨骼点和姿态骨架， 得到初步 处理后的数据； 步骤三： 采用Slowfast算法处理初步处理后的数据得到最后一层 卷积层， 采用TCN算法 处理处理后的数据得到人体姿态骨骼点的时域特征， 采用CNN算法处理处理后的数据得到 人体姿态骨架的空间特 征， 将所述时域特 征和所述空间特 征融合得到第一卷积层； 步骤四： 使最后一层卷积层和第一卷积层经 过全连接层完成特 征融合； 步骤五： 判断行为类别。 7.如权利要求6所述的一种家庭助老全景云机器人的全景人体行为识别方法， 其特征 在于， 所述TCN算法中包含残差块， 所述TCN算法采用残差块相连接， 所述残差块具有两个卷 积层， 两层的卷积核的数量一致， 在所述残差块内的每个卷积层前执行批量归一化和随机 纠正线性单元， 所述随机纠正线性单元采用RReLU激活函数实现， 所述第l个残差块的计算 公式为Yl＝Yl‑1+F(Wl， 1， Wl， 2， Yl‑1)， 残差块的函数F为F(Wl， 1， Wl， 2， Yl‑1)＝Wl， 2·σ(Wl， 1·σ (Yl‑1))， 其中σ 表示R ReLU激活函数。 8.如权利要求7所述的一种家庭助老全景云机器人的全景人体行为识别方法， 其特征 在于， 所述CNN算法通过下述流程实现： 首先构建人体骨骼点空间位姿特征矩阵， 并根据所 述Slowfast算法中的低频采样率对特征信息进行下采样， 选取人体动作行为的关键帧， 之 后采用OpenCV对关键帧内的骨骼点位姿信息进行处理， 重构出无背景的人体骨骼点增强 图， 最终采用Resnet ‑18模型对骨骼点增强图进行处 理。 9.如权利要求8所述的一种家庭助老全景云机器人的全景人体行为识别方法， 其特征 在于， 所述时域特征与所述空间特征通过加权融合得到第一卷积层， 所述加权融合计算公 式为Vts＝avg(Vt， Vs)＝ωtVt+ωsVs， 其中ωt与ωs分别表示融合两种特 征时的各自权 重。 10.如权利要求9所述的一种家庭助老全景云机器人的全景人体行为识别方法， 其特征 在于， 还包括两个交叉熵损失和一个总损失， 视频样 本总数为M， 行为类别 ·总数为N， RGB特 征的交叉熵损失为：权　利　要　求　书 1/2 页 2 CN 115512438 A 2姿态骨架特 征的交叉熵损失为： 总损失为： 式中ym， n为结果的真实值， 和 分别表示采用RGB数据和姿态骨架数据时的预 测结果， 表示所有参数的权 重衰减正则化， λ为衰减系数， 用来避免过拟合。权　利　要　求　书 2/2 页 3 CN 115512438 A 3