一种车牌倾斜矫正方法、装置、计算机设备和存储介质

专利名称：一种车牌倾斜矫正方法、装置、计算机设备和存储介质

专利类型：发明专利

专利申请号：CN202010533348.2

专利申请（专利权）人：浙江大华技术股份有限公司
权利人地址：浙江省杭州市滨江区滨安路1187号

专利发明（设计）人：张湾湾,敦婧瑜,薛佳乐,李轶锟,江歆霆,王耀农

专利摘要：本发明公开了一种车牌倾斜矫正方法、装置、计算机设备和存储介质，其中，对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；获取该第一灰度图像的在第一方向的梯度图像，计算该梯度图像的非零元素的均值，根据该均值对该梯度图像进行阈值处理，得到第二灰度图像；在第一方向上均分该第二灰度图像为第一部灰度图像和第二部灰度图像，根据第二灰度图像的累计代价反向搜索最优路径，依据该最优路径确定该车牌图像中车牌的边框线以及该边框线的倾斜角度；根据该边框线的倾斜角度矫正该车牌图像，解决了计算车牌边框倾斜角度时需要大量旋转或角度投影，导致时间复杂度和空间复杂度高的问题，降低了矫正倾斜或者畸变车牌图像的复杂度。

主权利要求：
1.一种车牌倾斜矫正方法，其特征在于，所述方法包括：
对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；
获取所述第一灰度图像的在第一方向的梯度图像，计算所述梯度图像的非零元素的均值，根据所述均值对所述梯度图像进行阈值处理，得到第二灰度图像；
在第一方向上均分所述第二灰度图像为第一部灰度图像和第二部灰度图像，确定所述第一部灰度图像和所述第二部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的边框线以及所述边框线的倾斜角度；
其中，依据所述最优路径确定所述车牌图像中车牌的边框线以及所述边框线的倾斜角度包括：依次记录所述最优路径上各点的倾斜角度，对所述各点的倾斜角度进行排序，选取所述排序的与中位数对应的角度值，作为所述边框线的倾斜角度；
在选取所述排序的与中位数对应的角度值之后，所述方法包括：
计算所述最优路径上所述中位数前后预设数量个点的角度均值作为参考角度；
依次遍历所述最优路径上的每个点，所述每个点的角度和所述参考角度之差在预设角度范围之外，则矫正当前点的纵坐标，将所述参考角度值作为所述当前点的倾斜角度；
根据所述边框线的倾斜角度矫正所述车牌图像。
2.根据权利要求1所述方法，其特征在于，在所述第一方向为水平方向的情况下，所述方法包括：获取所述第一灰度图像的在所述水平方向的水平梯度图像，计算所述水平梯度图像的非零元素的均值，根据所述均值对所述水平梯度图像进行阈值处理，得到所述第二灰度图像；
在所述水平方向均分所述第二灰度图像为上部灰度图像和下部灰度图像；
确定所述上部灰度图像和所述下部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的上边框线和下边框线，以及分别确定所述上边框线倾斜角度和下边框线的倾斜角度。
3.根据权利要求1或2所述方法，其特征在于，第一方向为水平方向的情况下，根据所述累计代价反向搜索最优路径包括：根据所述累计代价创建索引矩阵，其中，所述索引矩阵记录所述累计代价最小值的点来自前一列的坐标位置；
找出所述累计代价中最后一列累计代价最小的点，查找所述索引矩阵中前一列累计代价最小的点，确定所述最小的点对应的像素点，依次反向推倒至第一列，在所述推倒的过程中，确定的所述像素点的坐标为所述最优路径上的各点坐标。
4.根据权利要求2所述方法，其特征在于，所述确定所述上边框线倾斜角度和下边框线的倾斜角度之后，所述方法包括：获取所述水平方向矫正后的第一灰度图像后,获取所述第一灰度图像在垂直方向的垂直梯度图像，计算所述垂直梯度图像的非零元素的均值，根据所述均值对所述垂直梯度图像进行阈值处理，得到第三灰度图像；
在所述垂直方向四均分所述第二灰度图像，选取最左边部分作为左部灰度图像，选取最右边部分作为右部灰度图像；
确定所述左部灰度图像和所述右部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的左边框线和右边框线，以及分别确定所述左边框线倾斜角度和右边框线的倾斜角度。
5.根据权利要求4所述方法，其特征在于，根据所述累计代价反向搜索最优路径包括：根据所述累计代价创建索引矩阵，其中，所述索引矩阵记录所述累计代价最小值的点来自前一行的坐标位置；
找出所述累计代价中最后一行累计代价最小的点，查找所述索引矩阵中前一行累计代价最小的点，确定所述最小的点对应的像素点，依次反向推倒至第一行，在所述推倒的过程中，确定的所述像素点的坐标为所述最优路径上的各点坐标。
6.根据权利要求1所述方法，其特征在于，根据所述边框线的倾斜角度矫正所述车牌图像，所述方法包括：根据水平边框线的倾斜角度矫正所述车牌图像，得到第二图像；
确定所述车牌图像在垂直方向上待矫正区域；
在所述第二图像上，根据垂直边框线的倾斜角度对所述待矫正区域进行矫正，得到最终的矫正图像。
7.根据权利要求6所述方法，其特征在于，所述确定所述车牌图像在垂直方向上待矫正区域包括：计算所述水平边框线的上下边框线上各点在所述第二图像中的坐标位置；
对所述上下边框线上各点的纵坐标进行排序，找到上边框线上最大的纵坐标值和下边框线上最小的纵坐标值，所述最大的纵坐标值和最小的纵坐标值之间的区域为垂直方向上待矫正区域，其中，所述上下边框线包括所述上边框线和所述下边框线。
8.一种车牌倾斜矫正装置，其特征在于，所述装置包括：
灰度模块，用于对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；
梯度模块，用于获取所述第一灰度图像的在第一方向的梯度图像，计算所述梯度图像的非零元素的均值，根据所述均值对所述梯度图像进行阈值处理，得到第二灰度图像；
确定模块，用于在第一方向上均分所述第二灰度图像为第一部灰度图像和第二部灰度图像，确定所述第一部灰度图像和所述第二部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的边框线以及所述边框线的倾斜角度；
其中，依据所述最优路径确定所述车牌图像中车牌的边框线以及所述边框线的倾斜角度包括：依次记录所述最优路径上各点的倾斜角度，对所述各点的倾斜角度进行排序，选取所述排序的与中位数对应的角度值，作为所述边框线的倾斜角度；
在选取所述排序的与中位数对应的角度值之后，还包括：
计算所述最优路径上所述中位数前后预设数量个点的角度均值作为参考角度；
依次遍历所述最优路径上的每个点，所述每个点的角度和所述参考角度之差在预设角度范围之外，则矫正当前点的纵坐标，将所述参考角度值作为所述当前点的倾斜角度；
矫正模块，用于根据所述边框线的倾斜角度矫正所述车牌图像。
9.根据权利要求8所述装置，其特征在于，在所述第一方向为水平方向的情况下，所述确定模块还用于：获取所述第一灰度图像的在所述水平方向的水平梯度图像，计算所述水平梯度图像的非零元素的均值，根据所述均值对所述水平梯度图像进行阈值处理，得到所述第二灰度图像；
在所述水平方向均分所述第二灰度图像为上部灰度图像和下部灰度图像；
确定所述上部灰度图像和所述下部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的上边框线和下边框线，以及分别确定所述上边框线倾斜角度和下边框线的倾斜角度。
10.根据权利要求9所述装置，其特征在于，所述确定模块还用于：获取所述水平矫正后的第一灰度图像后，获取所述第一灰度图像在垂直方向的垂直梯度图像，计算所述垂直梯度图像的非零元素的均值，根据所述均值对所述垂直梯度图像进行阈值处理，得到第三灰度图像；
在所述垂直方向四均分所述第三灰度图像，选取最左边部分作为左部灰度图像，选取最右边部分作为右部灰度图像；
确定所述左部灰度图像和所述右部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的左边框线和右边框线，以及分别确定所述左边框线倾斜角度和右边框线的倾斜角度。
11.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至
7中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。 说明书 : 一种车牌倾斜矫正方法、装置、计算机设备和存储介质技术领域[0001] 本发明涉及视频监控领域，具体而言，涉及一种车牌倾斜矫正方法、装置、计算机设备和存储介质。背景技术[0002] 在车牌自动识别领域，相机抓取图像时往往会有不同角度的车牌出现，这对车牌字符的识别造成一定干扰，甚至可能导致车牌识别失败。为了提高车牌识别的正确率，在相关技术中，研究人员提出了很多车牌倾斜矫正的方法，主要有以下几类：[0003] (1)基于车牌边框线检测的方法。典型代表是“基于Hough直线检测的矫正方法”，Hough变换通过参数空间转换得到车牌边框线倾斜角度，进而矫正车牌。该方法抗干扰能力较强，但仅能确定直线的方向，丢失了线段的长度信息，且其时间复杂度和空间复杂度较高。[0004] (2)基于旋转投影特征分析的方法。该方法先将车牌旋转至给定范围内的每个角度，然后投影得到相应的统计特征，最佳的特征值即对应车牌倾斜角度，该方法的实际应用效果较好，但需要多次遍历图像，时间复杂度和空间复杂度较高。[0005] (3)基于车牌字符连通域推断的方法。该类方法往往基于车牌字符上下边缘点、角点或中心点拟合直线，求得车牌倾斜角度。该方法不依赖车牌的边框信息，在字符清晰完整的情况下效果较好，但对二值化图像要求高，且对非字符区域的干扰较敏感。[0006] (4)基于深度神经网络学习的方法。该类方法通过训练好的神经网络检测出车牌的四个角点，根据角点坐标信息对车牌进行矫正。该方法的通用性较好，但需要大量的标记训练数据，且对设备内存要求较高。[0007] 针对相关技术中，车牌识别过程中，计算车牌边框倾斜角度时需要大量旋转或角度投影，导致时间复杂度和空间复杂度高的问题，目前尚未提出有效的解决方案。发明内容[0008] 针对相关技术中，车牌识别过程中，计算车牌边框倾斜角度时需要大量旋转或角度投影，导致时间复杂度和空间复杂度高的问题，本发明的实施例至少解决上述问题。[0009] 根据本发明的一个方面，提供了一种车牌倾斜矫正方法，所述方法包括：[0010] 对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；[0011] 获取所述第一灰度图像的在第一方向的梯度图像，计算所述梯度图像的非零元素的均值，根据所述均值对所述梯度图像进行阈值处理，得到第二灰度图像；[0012] 在第一方向上均分所述第二灰度图像为第一部灰度图像和第二部灰度图像，确定所述第一部灰度图像和所述第二部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的边框线以及所述边框线的倾斜角度；[0013] 根据所述边框线的倾斜角度矫正所述车牌图像。[0014] 在其中一些实施例中，在所述第一方向为水平方向的情况下，所述方法包括：[0015] 获取所述第一灰度图像的在所述水平方向的水平梯度图像，计算所述水平梯度图像的非零元素的均值，根据所述均值对所述水平梯度图像进行阈值处理，得到所述第二灰度图像；[0016] 在所述水平方向均分所述第二灰度图像为上部灰度图像和下部灰度图像；[0017] 确定所述上部灰度图像和所述下部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的上边框线和下边框线，以及分别确定所述上边框线倾斜角度和下边框线的倾斜角度。[0018] 在其中一些实施例中，在所述第一方向为垂直方向的情况下，所述方法包括：[0019] 获取所述水平矫正后的第一灰度图像的在所述垂直方向的垂直梯度图像，计算所述垂直梯度图像的非零元素的均值，根据所述均值对所述垂直梯度图像进行阈值处理，得到所述第二灰度图像；[0020] 在所述垂直方向四均分所述第二灰度图像，取最左边和最右边部分作为左部灰度图像和右部灰度图像；[0021] 确定所述左部灰度图像和所述右部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的左边框线和右边框线，以及分别确定所述左边框线倾斜角度和右边框线的倾斜角度。[0022] 在其中一些实施例中，根据所述累计代价反向搜索最优路径包括：[0023] 根据所述累计代价创建索引矩阵，其中，在第一方向为水平方向的情况下，所述索引矩阵记录所述累计代价最小值的点来自前一列的坐标位置；[0024] 找出所述累计代价中最后一列累计代价最小的点，查找所述索引矩阵中前一列累计代价最小的点，确定所述最小的点对应的像素点，依次反向推倒至第一列，在所述推倒的过程中，确定的所述像素点的坐标为所述最优路径上的各点坐标。[0025] 在其中一些实施例中，所述依据所述最优路径确定所述车牌图像中车牌的边框线以及所述边框线的倾斜角度包括：[0026] 依次记录所述最优路径上各点的倾斜角度，对所述各点的倾斜角度进行排序，选取所述排序的与中位数对应的角度值，作为所述边框线的倾斜角度。[0027] 在其中一些实施例中，根据所述累计代价反向搜索最优路径包括：[0028] 根据所述累计代价创建索引矩阵，其中，在第一方向为垂直方向的情况下，所述索引矩阵记录所述累计代价最小值的点来自前一行的坐标位置；[0029] 找出所述累计代价中最后一行累计代价最小的点，查找所述索引矩阵中前一行累计代价最小的点，确定所述最小的点对应的像素点，依次反向推倒至第一行，在所述推倒的过程中，确定的所述像素点的坐标为所述最优路径上的各点坐标。[0030] 在其中一些实施例中，选取所述排序的与中位数对应的角度值之后，所述方法包括：[0031] 计算所述最优路径上所述中位数前后预设数量个点的角度均值作为参考角度；[0032] 依次遍历所述最优路径上的每个点，所述每个点的角度和所述参考角度之差在预设角度范围之外，则矫正所述当前点的纵坐标，将参考角度值作为所述当前点的倾斜角度。[0033] 在其中一些实施例中，根据所述边框线的倾斜角度矫正所述车牌图像，所述方法包括：[0034] 根据水平边框线的倾斜角度矫正车牌图像，得到第二图像；[0035] 确定所述车牌图像在垂直方向上待矫正区域；[0036] 在第二图像上，根据垂直边框线的倾斜角度对所述待矫正区域进行矫正，得到最终的矫正图像。[0037] 在其中一些实施例中，确定所述车牌图像在垂直方向上待矫正区域，所述方法包括：[0038] 计算车牌上下边框线上各点在所述第二图像中的坐标位置；[0039] 对上下边框线上各点的纵坐标进行排序，找到上边框线上最大的纵坐标值和下边框线上最小的纵坐标值，所述两个纵坐标之间的区域即为垂直方向上待矫正区域。[0040] 根据本发明的一个方面，提供了一种车牌倾斜矫正装置，所述装置包括：[0041] 灰度模块，用于对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；[0042] 梯度模块，用于获取所述第一灰度图像的在第一方向的梯度图像，计算所述梯度图像的非零元素的均值，根据所述均值对所述梯度图像进行阈值处理，得到第二灰度图像；[0043] 确定模块，用于在第一方向上均分所述第二灰度图像为第一部灰度图像和第二部灰度图像，确定所述第一部灰度图像和所述第二部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的边框线以及所述边框线的倾斜角度；[0044] 矫正模块，用于根据所述边框线的倾斜角度矫正所述车牌图像。[0045] 在其中一些实施例中，在所述第一方向为水平方向的情况下，所述确定模块还用于：[0046] 获取所述第一灰度图像的在所述水平方向的水平梯度图像，计算所述水平梯度图像的非零元素的均值，根据所述均值对所述水平梯度图像进行阈值处理，得到所述第二灰度图像；[0047] 在所述水平方向均分所述第二灰度图像为上部灰度图像和下部灰度图像；[0048] 确定所述上部灰度图像和所述下部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的上边框线和下边框线，以及分别确定所述上边框线倾斜角度和下边框线的倾斜角度。[0049] 在其中一些实施例中，在所述第一方向为垂直方向的情况下，所述方法包括：[0050] 获取所述水平矫正后的第一灰度图像的在所述垂直方向的垂直梯度图像，计算所述垂直梯度图像的非零元素的均值，根据所述均值对所述垂直梯度图像进行阈值处理，得到所述第二灰度图像；[0051] 在所述垂直方向四均分所述第二灰度图像，取最左边和最右边部分作为左部灰度图像和右部灰度图像；[0052] 确定所述左部灰度图像和所述右部灰度图像中每个像素点的累计代价，根据所述累计代价反向搜索最优路径，依据所述最优路径确定所述车牌图像中车牌的左边框线和右边框线，以及分别确定所述左边框线倾斜角度和右边框线的倾斜角度。[0053] 根据本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。[0054] 根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的方法。[0055] 通过本发明，对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；获取该第一灰度图像的在第一方向的梯度图像，计算该梯度图像的非零元素的均值，根据该均值对该梯度图像进行阈值处理，得到第二灰度图像；在第一方向上均分该第二灰度图像为第一部灰度图像和第二部灰度图像，确定该第一部灰度图像和该第二部灰度图像中每个像素点的累计代价，根据该累计代价反向搜索最优路径，依据该最优路径确定该车牌图像中车牌的边框线以及该边框线的倾斜角度；根据该边框线的倾斜角度矫正该车牌图像的倾斜角度，解决了计算车牌边框倾斜角度时需要大量旋转或角度投影，导致时间复杂度和空间复杂度高的问题，降低了矫正倾斜或者畸变车牌图像的复杂度。附图说明[0056] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：[0057] 图1是根据本发明实施例的一种车牌倾斜矫正方法的应用环境示意图；[0058] 图2是根据本发明实施例的一种车牌倾斜矫正方法的流程图；[0059] 图3是根据本申请实施例的一种车牌倾斜矫正装置的结构框图；[0060] 图4是根据本发明实施例的基于动态规划的车牌倾斜矫正方法的流程图。具体实施方式[0061] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。[0062] 显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。[0063] 在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。[0064] 除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。[0065] 本申请提供的一种车牌倾斜矫正方法，可以应用于如图1所示的应用环境中，图1是根据本发明实施例的一种车牌倾斜矫正方法的应用环境示意图，如图1所示，终端102获取车牌图像，服务器104对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；获取该第一灰度图像的在第一方向的梯度图像，计算该梯度图像的非零元素的均值，根据该均值对该梯度图像进行阈值处理，得到第二灰度图像；在第一方向上均分该第二灰度图像为第一部灰度图像和第二部灰度图像，确定该第一部灰度图像和该第二部灰度图像中每个像素点的累计代价，根据该累计代价反向搜索最优路径，依据该最优路径确定该车牌图像中车牌的边框线以及该边框线的倾斜角度；根据该边框线的倾斜角度矫正该车牌图像的倾斜角度，终端102与服务器104通过网络进行通信，其中，终端102可以但不限于是各种摄像监控设备、移动终端个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。[0066] 在本发明的实施例中，提供了一种车牌倾斜矫正方法，图2是根据本发明实施例的一种车牌倾斜矫正方法的流程图，该方法包括如下步骤：[0067] 步骤S202，对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；其中，获取该车牌图像的方式可以是通过监控摄像头拍照获取，在本地端或者远端的服务器中进行灰度处理；[0068] 步骤S204，获取该第一灰度图像的在第一方向的梯度图像，计算该梯度图像的非零元素的均值，根据该均值对该梯度图像进行阈值处理，得到第二灰度图像，其中，通过该阈值处理，更容易识别该车牌边框线的灰度值的突变，以及根据车牌边框线要长于车牌的字符区域的特性，经过阈值处理，也更准确的识别该车牌边框线；[0069] 步骤S206，在第一方向上均分该第二灰度图像为第一部灰度图像和第二部灰度图像，确定该第一部灰度图像和该第二部灰度图像中每个像素点的累计代价，根据该累计代价反向搜索最优路径，依据该最优路径确定该车牌图像中车牌的边框线以及该边框线的倾斜角度，其中，该第一方向可以根据实际需要确定，例如，该第一方向可以是水平方向，也可以是垂直方向，若第一方向为水平方向，则在水平校正后再在垂直方向上进行矫正，若第一方向为垂直方向，则在垂直矫正后再在水平方向上进行矫正；[0070] 步骤S208，根据该边框线的倾斜角度矫正该车牌图像，其中，可以根据水平方向的边框线的倾斜角去校正该车牌图像，在水平矫正的基础上，通过垂直方向的边框线的倾斜角去二次校正该车牌图像。[0071] 通过上述步骤S202至S208，利用车牌边框灰度值信息，提出梯度图像上各像素点的累计代价函数，能够在仅遍历车牌图像1.5次的情况下计算出车牌的水平和垂直倾斜角度，有效地矫正倾斜或畸变车牌图像，解决了计算车牌边框倾斜角度时需要大量旋转或角度投影，导致时间复杂度和空间复杂度高的问题，降低了矫正倾斜或者畸变车牌图像的复杂度。[0072] 在一个实施例中，在该第一方向为水平方向的情况下，获取该第一灰度图像的在该水平方向的水平梯度图像，计算该水平梯度图像的非零元素的均值，根据该均值对该水平梯度图像进行阈值处理，得到该第二灰度图像；在该水平方向均分该第二灰度图像为上部灰度图像和下部灰度图像；确定该上部灰度图像和该下部灰度图像中每个像素点的累计代价，根据该累计代价反向搜索最优路径，依据该最优路径确定该车牌图像中车牌的上边框线和下边框线，以及分别确定该上边框线倾斜角度和下边框线的倾斜角度。[0073] 在一个实施例中，在该第一方向为垂直方向的情况下，获取该第一灰度图像的在该垂直方向的垂直梯度图像，计算该垂直梯度图像的非零元素的均值，根据该均值对该垂直梯度图像进行阈值处理，得到该第二灰度图像；在该垂直方向四均分该第二灰度图像，取最左边和最右边部分为左部灰度图像和右部灰度图像；确定该左部灰度图像和该右部灰度图像中每个像素点的累计代价，根据该累计代价反向搜索最优路径，依据该最优路径确定该车牌图像中车牌的左边框线和右边框线，以及分别确定该左边框线倾斜角度和右边框线的倾斜角度。[0074] 在一个实施例中，在第一方向为水平方向的情况下，根据该累计代价反向搜索最优路径包括：根据该累计代价创建索引矩阵，其中，该索引矩阵记录该累计代价最小值的点来自前一列的坐标位置；找出该累计代价中最后一列累计代价最小的点，查找该索引矩阵中前一列累计代价最小的点，确定该最小的点对应的像素点，依次反向推倒至第一列，在该推倒的过程中，确定的各像素点的坐标为该最优路径上的各点坐标，根据最后一列累计代价最小的点反向搜索最优路径，该最优的路径为车牌的水平边框曲线。[0075] 在一个实施例中，在第一方向为垂直方向的情况下，根据该累计代价反向搜索最优路径包括：根据该累计代价创建索引矩阵，其中，该索引矩阵记录该累计代价最小值的点来自前一行的坐标位置；找出该累计代价中最后一行累计代价最小的点，查找该索引矩阵中前一行累计代价最小的点，确定该最小的点对应的像素点，依次反向推倒至第一行，在该推倒的过程中，确定的各像素点的坐标为该最优路径上的各点坐标，根据最后一行累计代价最小的点反向搜索最优路径，该最优的路径为车牌的水平边框曲线。[0076] 在一个实施例中，依次记录该最优路径上各点的倾斜角度，对该各点的倾斜角度进行排序，选取该排序的与中位数对应的角度值，作为该边框线的倾斜角度，基于最优路径上各点相对第一方向的倾斜角度，选取中位数作为车牌的在第一方向上的倾斜角度，第一方向可以为水平方向或者垂直方向，该倾斜角度的计算方法，更准确的确定车牌的倾斜角度。[0077] 在一个实施例中，选取该排序的与中位数对应的角度值之后，计算该最优路径上该中位数前后预设数量个点的角度均值作为参考角度；依次遍历该最优路径上的每个点，该每个点的角度和该参考角度之差在预设角度范围之外，则矫正该点的角度值及纵坐标值，将参考角度值作为该点的角度值，根据参考角度值和该点横坐标确定该点的纵坐标值,矫正该最优路径上的离群点，该预设数量可以是前后1/3数量，该预设角度可以是参考角度的1/2，通过倾斜角度的再次矫正，更准确的确定车牌的倾斜角度。[0078] 本实施例还提供了一种车牌倾斜矫正装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。[0079] 图3是根据本申请实施例的一种车牌倾斜矫正装置的结构框图，如图3所示，该装置包括：[0080] 灰度模块32，用于对车牌图像的扩展区域进行灰度处理，得到第一灰度图像；[0081] 梯度模块34，用于获取该第一灰度图像的在第一方向的梯度图像，计算该梯度图像的非零元素的均值，根据该均值对该梯度图像进行阈值处理，得到第二灰度图像；[0082] 确定模块36，用于在第一方向上均分该第二灰度图像为第一部灰度图像和第二部灰度图像，确定该第一部灰度图像和该第二部灰度图像中每个像素点的累计代价，根据该累计代价反向搜索最优路径，依据该最优路径确定该车牌图像中车牌的边框线以及该边框线的倾斜角度；[0083] 矫正模块38，用于根据该边框线的倾斜角度矫正该车牌图像。[0084] 通过上述装置，确定模块36利用车牌边框灰度值跳变的特征，提出梯度图像上各像素点的累计代价函数，能够在仅遍历车牌图像1.5次的情况下计算出车牌的水平和垂直倾斜角度，有效地矫正倾斜或畸变车牌图像，解决了计算车牌边框倾斜角度时需要大量旋转或角度投影，导致时间复杂度和空间复杂度高的问题，降低了矫正倾斜或者畸变车牌图像的复杂度。[0085] 在一个实施例中，本发明提出了一种基于动态规划的车牌倾斜矫正方法，图4是根据本发明实施例的基于动态规划的车牌倾斜矫正方法的流程图，如图4所示，该方法包括以下步骤：[0086] 步骤S401，扩展车牌图像，记为Is,对扩展区域进行灰度处理，得到灰度图像Ig，分辨率为W*H；[0087] 步骤S402，在灰度图像Ig中，按公式1计算图像的水平梯度，得到图像Gx；[0088] Gx(i,j)＝Ig(i+1,j)‑Ig(i‑1,j)公式1[0089] 在水平梯度图像Gx中，计算非零元素的均值m1：m1＝∑Gx(i,j)/N，并按公式2以m1为阈值对Gx进行阈值处理(动态阈值)：[0090][0091] 步骤S403，在水平方向上均分Gx为上下两部分Gx_up和Gx_down；[0092] 步骤S404，在Gx_up中,基于动态规划思想分割车牌上边框线，其中，在图像Gx_up中，定义和计算各像素点的累计代价，如公式3所示：[0093][0094] 同时，创建索引矩阵prex_up(i,j)＝i+k，记录每个点累计代价最小的值来自前一列的坐标位置；[0095] 反向搜索法确定最优路径包括：找出最后一列累计代价最小的点，查找索引矩阵prex_up，找出该像素点对应索引矩阵中前一列累计代价最小的点，依次反向推倒至第一列，过程中的点即为最优路径上的点，创建矩阵pathup来记录这些点的坐标值，矩阵大小为2*W，其中第一行记录纵坐标y，第二行记录横坐标x；[0096] 步骤S405，计算车牌上边框线倾斜角度。计算最优路径上各点相对水平线的倾斜角度，如公式4所示：[0097][0098] 在矩阵A中依次记录最优路径上各点的倾斜角度值。对A进行排序，选取中位数对应的角度值为车牌上边框线的倾斜角度，记为αup。[0099] 步骤S406，矫正最优路径上的离群点。计算中位数αup前后各1/3数量的角度均值αm作为参考角度，依次遍历最优路径上的每个点，若|αi‑αm|>1/2αm，则矫正其纵坐标和相应倾斜角度，如公式5所示：[0100][0101] 在Gx_down中，按照步骤S404～步骤S406中该方法确定车牌下边框线的倾斜角度,记为αdown；[0102] 步骤S407，计算车牌在水平方向上的倾斜角度αx＝(αup+αdown)/2，根据倾斜角度αx矫正车牌的灰度图像Ig，得到灰度图像I'g；[0103] 步骤S408，在图像I'g中，计算垂直梯度图像Gy，如公式6所示：[0104] Gy(i,j)＝I'g(i,j+1)‑I'g(i,j‑1)公式6[0105] 在垂直梯度图像Gy中，计算非零元素的均值m2：m2＝∑Gy(i,j)/N，并以m2为阈值对Gy进行阈值处理，如公式7所示：[0106][0107] 步骤S409，在垂直方向上均分Gy为四部分，最左边和右边区域分别记为Gy_left和Gy_right；[0108] 步骤S410，在Gy_left中，基于动态规划思想分割车牌左边界线，该方法包括：[0109] 在Gy_left中，定义和计算各像素点的累计代价，如公式8所示：[0110][0111] 同时，创建索引矩阵prey_left(i,j)＝j+k，记录每个点累计代价最小的值来自前一行的坐标位置；[0112] 反向搜索法确定最优路径。找出最后一行累计代价最小的像素点，查找索引矩阵prey_left，找出该像素点对应索引矩阵中前一行累计代价最小的像素点，依次反向推倒至第一行，过程中的点即为最优路径上的点，在二维矩阵pathleft中记录这些点的坐标值，矩阵大小为2*H，其中第一行记录纵坐标y，第二行记录横坐标x；[0113] 计算车牌上边框线倾斜角度。计算最优路径上各点相对垂直线的倾斜角度，如公式9所示：[0114][0115] 步骤S411，在矩阵B中依次记录最优路径上各点的倾斜角度值。对B进行排序，选取中位数对应的角度值为车牌左边界线的倾斜角度，记为βleft。[0116] 步骤S412，矫正最优路径上的离群点。计算中位数βleft前后各1/3数量的角度均值βm作为参考角度，依次遍历最优路径上的每个点，若|βi‑βm|>1/2βm，则矫正其纵坐标和相应倾斜度，如公式10所示：[0117][0118] 在Gy_right中，按照步骤S410至步骤S412中该方法确定车牌右边框线的倾斜角度,记为βright；计算车牌在垂直方向上的倾斜角度βy＝(βleft+βright)/2；[0119] 步骤S413，计算垂直方向需矫正区域的坐标范围。计算车牌上下边框线点(即最优路径上的点)在图像I'g中的坐标位置，如公式11所示：[0120][0121] 对上下边框线上点的纵坐标进行排序，找到上边框线上最大的纵坐标值，记为j'max，同时找到下边框线上最小的纵坐标值，记为j'min；[0122] 步骤S414，矫正原始图像Is。首先，根据倾斜角度αx矫正原始车牌图像Is，得到车牌上下边框矫正后的图像I′s；其次，使用步骤S412中得到的倾斜角度βy，在图像I′s的纵坐标范围[j'max,j'min]区域进行矫正，得到最终的矫正图像If。[0123] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述车牌倾斜矫正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。[0124] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个实施例提供的一种车牌倾斜矫正方法。[0125] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。[0126] 以上该实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

专利地区：浙江

专利申请日期：2020-06-12

专利公开日期：2024-07-26

专利公告号：CN111860492B