(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210050049.2 (22)申请日 2022.01.17 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 回姝　黄嘉桐　丁冠源　 (74)专利代理 机构 北京翔宇专利代理事务所 (普通合伙) 11960 代理人 田昱川 (51)Int.Cl. G06F 9/451(2018.01) G06F 9/48(2006.01) G06T 7/80(2017.01) G06F 11/32(2006.01) (54)发明名称 虚拟化车载系统的影像显示方法、 装置、 设 备及存储介质 (57)摘要 本发明公开了一种虚拟化车载系统的影像 显示方法、 装置、 设备及存储介质， 涉及车载显示 系统技术领域。 本发明包括影像显示模块， 影像 显示模块用于RVC标定、 AVM界面视图切换、 雷达 信息显示、 ADV自动 泊入、 泊出功能； RV C标定包括 手动标定和自动标定， 其中手动标定包括如下步 骤： 1)、 RV C启动后， 通过ivs或者ivp提供的消息， 进入标定模式或者正常显示引导线模式。 本方案 主要建立了一套完整的影像显示系统， 可同时兼 容一种车型的多种全景影像(AVM)、 自动泊车 (ADV)、 倒车影像(RVC)和雷达 的相关功能切换， 以及倒车轨迹线的手动、 自动标定策略， 在满足 车型多功能需求的同时， 也满足用户快速倒车需 求。 权利要求书3页 说明书9页 附图12页 CN 114356489 A 2022.04.15 CN 114356489 A 1.一种虚拟化车 载系统的影 像显示方法， 其特 征在于， 包括如下步骤： 通过影像显示模块进行RVC标定、 AVM界面视图切换、 雷达信息显示及ADV 自动泊入、 泊 出； 其中， RVC标定包括手动标定和自动标定， 其中手动标定包括如下步骤： 1)、 RVC启动后， 进入标定模式， 启动 手动标定模式， 进行功能的切换， 并保存， 发送命令 给Camplayback， 调用启明提供的库保存标定结果， 并将结果返回； 2)、 当切换自动标定时保存标定结果， 将结果返回， 并得到返回结果； AVM界面视图切换功能具体包括如下步骤： 1)、 进入A VM功能后， 根据相应的命令， 进行视图的切换； 2)、 切换完成后， A VM控制器返回当前的状态， 根据最终进入的视图， 切换相应页面。 2.如权利要求1所述的一种虚拟化车载系统的影像显示方法， 其特征在于， 雷达信 息显 示功能具体包括如下步骤： 1)、 控制器将报警信息发送给MCU， MCU收到报警信息后， 通过ivs发送给应用， 应用接收 到ivs的cal lback后， 根据相应的报警信息进行显示， 并发出相应的雷达提 示音； 2)、 控制器将故障信息发送给MCU， MCU收到故障信息后， 通过ivs发送给应用， 应用接收 到ivs的cal lback后， 根据相应的故障信息 显示相应的popup或者 提示。 3.如权利要求1所述的一种虚拟化车载系统的影像显示方法， 其特征在于， ADV自动泊 入、 泊出功能具体包括如下步骤： 1)、 控制器发送泊入或泊出信号， 通过MCU发送给ivs  server， ivs再转发给应用， 应用 接收到泊入或泊出信号， 切换到相应的界面； 2)、 点击界面出车方式垂直出车， 通过ivs发送命令给mcu， mcu再发送给控制器， 点击出 车按钮， 同样通过ivs发送开始出车命令给mcu， mcu转给控制器， 控制器返回确认数据， HMI 收到后完成界面切换， 弹出提 示消息， 等待泊车完成； 3)、 完成泊车后， 控制器发送相关数据， H MI收到指令后， 退 出泊车。 4.如权利要求1所述的一种虚拟化车载系统的影像显示方法， 其特征在于， 影像显示模 块开始影像播放包括以下步骤： 1).当外界条件触发影 像的播放时， CamPlayback线程调用CameraICI接口播 放视频； 2).CameraICI开始影像的播放， 首先进行相关的变量的初始化， 打开相关设备， 并进行 数据采集， 关闭相关的设备； 3).采集到的数据调用opengl  egl相关的函数提交给weston绘制， weston绘制完一帧 画面后通知camere， 继续绘制下一帧； 4).播放影像后， 创建诊断线程， 在播放过程中， 持续监测摄像头lock状态， 并将结果反 馈给HMI， HMI收到信号异常后， 显示相应的popup。 5.如权利要求1所述的一种虚拟化车载系统的影像显示方法， 其特征在于， 影像显示模 块在进行摄 像头设备进程启动和初始化时具体包括如下步骤： 1).Kanzi应用随即启动后， 首先进入createApplication， 首先创建Ivslistener线程 和camplayback线程； 2).Ivslistener线程启动后， 初始化ivs  client， 注册ivs  message callback， 主动获 取eol配置， 判断是RVC还是A VM；权　利　要　求　书 1/3 页 2 CN 114356489 A 23).Camplayback线程启动后， 等待eol配置获取到， 进行相关摄像头设备的初始化， 配 置piplel ine参数。 6.如权利要求1所述的一种虚拟化车载系统的影像显示方法， 其特征在于， 当触发影像 暂停及影 像恢复播 放时具体包括以下步骤： 其中触发影 像暂停时操作如下： 1).Ivslistener接收到相应的hardwire端子被拉低， 通知HMI退出显示相应的UI 界面， 停止播放雷达音， 同时通知Camplayback线程停止播 放影像； 2).Detect线程收到端子被拉低的通知， 停止检测l ock状态； 其中触发影 像暂停时操作如下： 1).Ivslistener接收到相应的hardwire端子变化， 通知HMI显示相应的UI 界面， 同时通 知Camplayback线程 播放影像； 2).Ivslistener同时接 受雷达或者AVM控制器发送的雷达数据， 发送给HMI， HMI接受后 显示相应的界面， 并播报雷达音； 3).Camplayback线程播放影像的通知， 进行摄像头lock状态的检测， 并将检测 结果反 馈给HMI， HMI收到异常的l ock状态， 显示相应的popup； 4).Camplayback线程 通过调用CameraICI模块 提供的接口， 进行影 像的播放。 7.如权利要求1所述的一种虚拟化车载系统的影像显示方法， 其特征在于， 影像显示模 块包括有以下代码模块： HMI代码模块， H MI代码模块用于切换视图， 显示雷达报警信息， 监测车辆周围情况； common代码模块， com mon代码模块 为共同的公共代码； CameraICI代码模块， CameraICI代码模块包括graph、 stream、 pipeline三个进程， 其 中： Graph进程用于调用wayland、 egl、 khr相关的接口， 进行视频流画面 的描画， 包括创 建 surface、 销毁surface； Stream进程用于通过调用ICI相关的接口， 从IPU抓取 数据， 调用Graph 接口描画； Pipeline进程用于配置IPUCSI 通道、 视频格式、 分辨 率参数； threader 代码模块， threader 代码模块用于创建除H MI代码模块外的其 他线程。 8.如权利要求7所述的一种虚拟化车载系统的影像显示方法， 其特征在于， HMI代码模 块包括RVC代码模块、 A VM代码模块、 ADV 代码模块 三部分； 其中RVC代码模块、 A VM代码模块、 ADV 代码模块的判断方式为： 通过不同的硬件端子或者eol配置， 判断当前是AVM还是RVC， 如果是AVM或者ADV， 还需 要通过hardw ire端子判断是A VM还是ADV。 9.如权利 要求7所述的一种虚拟化车载系统的影像显示方法， 其特征在于， threader代 码模块用于创建ivsl istener、 Camplayback、 Detect、 Ivpl istener线程。 10.如权利要求9所述的一种虚拟化车载系统的影像显示方法， 其特征在于， 其中 Ivslistener线程用于接收ivs发送的消息， 并将消息转发给HMI等代码模块， 同时负责封装 向ivs发送数据的接口， ivslistener也负责hardwire端子变化的通知， 端子变化后通知 Camplayback线程 播放或者暂停视频； Detect线程用于检测摄像头连接状态并将数据发送给HMI代码模块， HMI代码模块接收权　利　要　求　书 2/3 页 3 CN 114356489 A 3