2025年09月17日

星期三

现代冶金(南京)研究院
联系我们
江苏省钢铁行业协会
协会地址 : 南京市御道街58-2号 明御大厦703室
咨询热线 : 025-84490768、84487588
协会传真 : 025-84487588、84490768
【编辑精选】基于多级网络的钢板表面喷码识别方法

2023-11-21 15:30:05

来源:冶金自动化

浏览203

01

研究背景

在热处理生产线中钢板需要经过抛丸、淬火、回火、矫直等工艺流程,每个工艺入口均需要进行钢板信息录入,以实现生产线对于钢板的物料跟踪。传统信息录入主要依赖人工观察钢板上喷印的字符得到钢板号信息,继而录入到跟踪系统,需要人工频繁地查看确认,劳动强度较大,严重影响正常的生产节奏,同时也存在安全隐患。通过用机器视觉方式解决钢板喷码识别问题,成本较低,可节省巨大的人工成本,优化生产节奏,提高生产效率。

深度学习技术的应用使基于视觉识别的任务在应用场景中达到可取代人工的性能,尤其在字符识别方面已经取得众多进展。在工业应用方面,依赖深度学习强大的特征提取能力,加之字符较为清晰规范,近几年字符识别技术在车牌识别、芯片喷码识别、票码识别等轻工业场景形成了诸多成熟化的产品落地。在学术研究方面,对于街景文字的识别是热门的研究领域,该场景下具备更多的随机特性、更大的难度,也对网络模型的通用化能力有更高的要求。钢板喷码识别介于两者之间,较为普遍的字符格式有利于模型快速收敛,喷码设备的不同以及手写字符的混入又需要识别框架具备较好的鲁棒能力,需要设计更加具有针对性的网络结构解决识别任务。

02

研究方法

喷码识别系统软件流程如图1所示,开始时先进行模型初始化并与二级系统建立接口连接,服务器不断接收相机采集的图像,通过模型检测是否存在喷码字符区域。如不包含喷码,则跳过后续过程继续接收图像并检测;如发现图像中包含喷码,将进行后续钢板号的识别过程,识别结果与获取到的当日生产计划比对判定,有效降低字符识别空间范围,提升喷码识别的准确性。如发现计划中无法匹配的情况,将当前结果存储于缓冲区,继续进行下一帧图像的识别,在连续多次无法匹配时发出报警提醒人工干预,如判定匹配将直接发送钢板号给二级跟踪系统与运行的钢板进行附号匹配。
图片

图1  物料跟踪过程

多级网络结构由喷码区域提取模型、喷码逐行分割模型、喷码字符识别模型组成,如图2所示,相机采集图像依次经过3个模型的处理识别到钢板号信息。其中喷码区域提取模型用于从相机采集到的图像中快速提取存在字符的区域,实际相机采集钢板时大量的图像或是不包含钢板或是包含钢板但不包含字符,因此需要进行识别字符的图像是其中极少的部分,利用喷码区域提取模型可以快速大量地降低无效图像对后续模型识别效率的影响。喷码逐行分割模型作用在提取喷码区域之后,图像中已经包含有字符区域,逐行分割的目的在于从多行字符中依据先验信息区分出钢板号行所对应的位置,并将其独立地提取出来作为后续模型输入。喷码字符识别模型只对钢板号进行识别,钢板号中包含的字符类型相对较少,只有少量字母和数字,降低喷码中多余字符及特殊字符加入模型所带来的类间误识别的问题,起到提升识别准确率的作用。

图片

图2  钢板号识别过程

03

应用效果

该方法应用在国内某热处理生产线,识别点位置分别为抛丸前、淬火前、回火前、成品标印前,其中抛丸前钢板表面喷码形态较多,来自不同产线,因此标印字符形态有较大差别,如图3(a)所示,喷码原始为多行数据,共包含钢板号、钢种、规格和其他信息。抛丸后的钢板喷码如图3(b)所示,此处标印的信息为单行数据,仅包含钢板号、钢种、规格信息。部分情况下由于标印磨损、未标印等情况,会出现手写钢板号信息,此类钢板也需要进行识别,如图3(c)所示。 

图片

(a) 多行喷印

图片

(b) 单行喷印

图片

(c) 人工手写

图3  多种喷码字符类型
多级网络结构选用NanoDet-Plus、DBNet和CRNN模型,3个模型所使用的评价指标各不相同,见表1,分别为mAP(mean Average Precision)、mIoU(mean Intersection over Union)以及喷码识别准确率指标,其中喷码识别准确率P的计算公式为
P=Ncorrect/Ntotal
式中:Ncorrect为正确识别完整喷码的图像数量,Ntotal为总图像数。

表1  各级模型检测指标统计模型

图片

单块钢板经过检测点时平均相机采集图像数量约为320张,一阶段轻量化模型以25 ms/张的速率能够保证数据实时处理,见表2。通过判断检测结果中是否包含字符区域,能够剔除掉95%以上无实际喷码的数据,仅保留约25张存在字符的图像进入到二、三阶段模型的识别。二阶段模型通过逐行分割将喷码进行功能区域划分,然后由先验知识确定钢板号所在位置行,从中提取到仅包含钢板号的子图像,输入到三阶段模型中进行钢板号的识别。数据分析可知,存在喷码的图像经过模型分析后,可在122 ms内得到识别结果。

表2  单块钢板所需处理图像数量统计模型   
图片
在实际应用现场中,钢板号的组成主要包含A、B、C、0、1、2、3、4、5、6、7、8、9共13个字符,钢板号长度为10~14位不等,部分识别效果如图4所示。
图片

(a) 1、2号喷号设备

图片

(b) 3号喷号设备

图片
(c) 人工手写
图4  工业现场应用效果

04

研究结论

构建的喷码识别系统采用监控相机获取图像,进行处理分析识别到钢板号信息,依据获取的生产计划信息,同步判定钢板号识别准确度。设计通用喷码识别框架,采用多级网络结构,以轻量化目标检测模型为基础提取喷码区域,再进行分割和识别得到钢板号信息,有效提升模型识别的鲁棒能力。系统应用在实际工业现场中,性价比极高,可以在不间断工作的同时保证识别准确性,降低人工劳动强度,提升生产节奏。

针对模型识别错误的喷码,在进一步的研究中可以通过样本增强、注意力机制、特征融合等方式优化识别能力。