(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210708633.2 (22)申请日 2022.06.22 (71)申请人 信华信技 术股份有限公司 地址 116085 辽宁省大连市高新 技术产业 园区黄浦路97 7号 (72)发明人 兰勇　王治国　王超　段盛睛　 贾丽娜　 (74)专利代理 机构 长春市盈创中成知识产权代 理事务所(普通 合伙) 22215 专利代理师 柳维军 (51)Int.Cl. G06V 30/19(2022.01) G06V 30/162(2022.01) G06V 30/146(2022.01) G06V 30/164(2022.01)G06F 40/284(2020.01) G06F 40/289(2020.01) G06F 40/30(2020.01) (54)发明名称 一种基于深度学习技术的图文乱码识别方 法 (57)摘要 本发明公开了一种基于深度学习技术的图 文乱码识别方法， 包括以下步骤： 步骤S1： 获取待 乱码识别的文件图像信息； 步骤S1.1： 将待乱码 识别的文件固定在稳光环境中； 步骤S1.2： 通过 扫描仪扫描或相机拍摄生成待处理的标签图像 信息； 步骤S2： 将 待处理的 图像信息送入到OCR识 别模块中进行数据预处理、 文本区域检测及文字 内容识别； 步骤S2.1： OCR识别模块中涵盖 数据预 处理、 文本区域检测及文字内容识别三部分功 能； 步骤S3： 将OCR识别模 块的输出结果送入到乱 码判别模块中。 本发明的有益效果是， 通过深度 学习算法训练图文检测与识别模 型， 结合设定阈 值与语义分析技术进行生产图文乱码信息的存 在性判定 。 权利要求书2页 说明书4页 附图1页 CN 114973275 A 2022.08.30 CN 114973275 A 1.一种基于深度学习技 术的图文乱码识别方法， 其特 征在于， 包括以下步骤： 步骤S1： 获取待乱码识别的文件图像信息； 步骤S1.1： 将待乱码识别的文件固定在稳光环境中； 步骤S1.2： 通过扫描仪扫描或相机拍摄生成待处 理的图像信息； 步骤S2： 将待 处理的图像信息送入到OCR识别 模块中进行数据预处理、 文本区域检测及 文字内容识别； 步骤S2.1： OCR识别模块中涵盖数据预处理、 文本区域检测及文字内容识别三部分功 能； 步骤S3： 将OCR识别 模块的输出结果送入到乱码判别 模块中， 集成针对于生产制造领域 的不同乱码识别方法进行乱码识别并输出识别结果。 2.根据权利要求1所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S2中的数据预处理： 首先调节待识别图像的亮度和对比度、 然后对待识别图像进行 缩放， 对缩放后的图像进 行预处理， 所述的预 处理为二值化、 矫正倾斜、 降噪处理， 最后使图 像处于水平竖直且文字较清晰的状态。 3.根据权利要求1所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S2中的文本区域检测： 将预处理后的待识别图像送入文本区域检测模型中， 得到图 像的多个文本区域； 在所述文本区域检测模型进行文本位置信息检测之前， 还 包括： OCR深度学习文本检测模型训练： 采集不同样式的图片数据， 并对图片进行二值化、 降 噪及倾斜校正处理； 标注图片数据， 所需标注信息为可以表现文本位置的矩形框及可以表 现文本位置矩形框的类别标签； 将标注后的数据划分为训练集、 验证集和测试集； 利用所划 分的训练集和验证集训练文本检测模型， 将所述待检测图片测试集输入到所述文本检测模 型中得到多个文本位置信息进行模型评估及调优， 最终得到OCR深度学习文本检测模型。 4.根据权利要求1所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S2中的文字内容识别： 将文本检测模型输出的多个文本区域送入到文字内容识别模 型中， 得到可编辑的文本信息； 在所述文字内容识别模型进行文字内容信息识别之前， 还 包括： OCR深度学习文字识别模型训练： 采集不同样式的图片数据， 并对图片进行二值化、 降 噪及倾斜校正处理； 标注图片数据， 所需标注信息为文本框对应的文字信息， 得到多个包含 单行文本信息的图片； 将标注得到的单行文本框图片数据划分为训练集、 验证集和测试集； 利用所划分的训练集和验证集训练文字内容识别模型， 将所述待识别的单行文本框图片输 入到所述文字内容识别模型中得到文字内容识别结果进行模型评估及调优， 最终得到OCR 深度学习文字内容识别模型。 5.根据权利要求1所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S3： 乱码判别模块中涵盖字符识别阈值、 分词处理及语义分析三种判别文本是否存 在乱码的方法。 6.根据权利要求5所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S3中的字符识别阈值： 设定阈值为字符识别结果的判定条件； 对OCR识别模块最 终输 出的可编辑的文本信息进行后处理， 即比较字符识别得分与设定阈值之间的大小关系； 当权　利　要　求　书 1/2 页 2 CN 114973275 A 2字符的识别得分大于设定阈值时， 字符被判定为正常字符， 当字符的识别得分小于等于设 定阈值时， 字 符被判定为乱码字 符； 当文本中的字符均为正常字符时， 则返回该文本无乱码 结果， 当文本中有一个及以上乱码字符时， 则返回该文本有乱码结果。 7.根据权利要求5所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S3中的分词处理： 将OCR识别模块最 终输出的可编辑的文本信息进 行分词处理， 基于 该制造领域数据的特性， 对分词后的字符形式进行乱码判别； 当文本中字符存在有语义词 组时， 返回该文本无乱码结果， 当文本中字符均为单一字符时， 则返回该文本有乱码结果。 8.根据权利要求5所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S3中的语义分析： 将文字识别模型输出的可编辑的文本信息送入到语义分析模型中 构建依存结构树， 具有正常逻辑与语义的文本可以产出一个完整且具体的结构树， 而存在 乱码的文本则无法产出一个完整且具体的结构树； 因此当文本无法通过语义分析模型产出 一个完整且具体的依存结构树时， 确定该文本中存在乱码信息， 返回该文本有乱码结果， 否 则返回该文本无乱码结果。 9.根据权利要求5所述的一种基于深度 学习技术的图文乱码识别方法， 其特征在于， 所 述步骤S3中三种 方法判定文本中是否存在乱码， 综合考虑三种 方法返回的信息， 当三种 方 法中的任意一种 方法返回有乱码结果时， 则最终判定该待乱码识别的文件存在乱码， 否则 最终判定待乱码识别的文件为 正常可用文件。权　利　要　求　书 2/2 页 3 CN 114973275 A 3