基于视场约束的神经网络优化自动变焦相机内参标定方法

专利名称：基于视场约束的神经网络优化自动变焦相机内参标定方法

专利类型：发明专利

专利申请号：CN202410430508.9

专利申请（专利权）人：四川大学
权利人地址：四川省成都市一环路南一段24号

专利发明（设计）人：谢罗峰,岑学祥,杨博文,殷鸣,林仕波

专利摘要：本发明属于变焦相机标定技术领域，公开了一种基于视场约束的神经网络优化自动变焦相机内参标定方法，包括步骤1：约束视场与焦距的关系；步骤2：基于神经网络优化焦距与相机内参关系；步骤3：自动对焦；本发明先固定的视场与焦距的关系，有利于更精度的获取靶标像素坐标，为最终的高精度姿态求解提供保障；然后利用神经网络优化焦距与内参的对应关系，精确高，且效率快；最后自动调焦，避免了反复手动调焦的繁琐性。

主权利要求：
1.一种基于视场约束的神经网络优化自动变焦相机内参标定方法，其特征在于，包括如下步骤：步骤1：约束视场与焦距的关系，相机视场与焦距的关系： ，其中，S为像元尺寸，xres为分辨率，f为焦距，D为相机与靶标之间的距离，Hx为相机视场；
步骤2：基于神经网络优化焦距与相机内参关系；
首先，获取变焦相机焦距范围，根据焦距范围等间距固定若干个焦距，获取每个焦距下拍摄靶标的图片15张 30张，靶标在每张图片的中心且占据视场的比例为20%，采用张正友~相机标定方法获取若干组焦距与相机内参关系的数据集；其中，所述相机内参包括畸变系数和主点横纵坐标；
其次，将若干组焦距与相机内参关系的数据集按照比例为2:1分为训练集和测试集，然后对数据集进行归一化处理；
然后，分别采用多项式、高斯和三角函数对数据集拟合，获取畸变系数与焦距之间的关系拟合曲线、主点横纵坐标与焦距之间的关系拟合曲线、焦距沿XY方向与焦距之间的关系拟合曲线；再用多层感知机进行曲线优化；
多层感知机的参数设置：训练回合数设置为10000，特征数范围为1 14，学习率设置为~
0.01，批次大小设置为32；以最小化均方根误差损失函数更新求解最佳权重参数W和偏置参数b并评估拟合效果，选择损失函数最小的作为最佳拟合曲线；
步骤3：自动对焦；设置图像清晰度的阈值，根据视场与焦距的关系固定当前焦距，然后以等间距改变像距，每个像距下拍摄一张图片，并利用图像清晰度函数获取图片的清晰度，比较图像清晰度和阈值的大小，当图像清晰度小于阈值时，再改变像距获取图片及图像清晰度，直到图像清晰度大于阈值时，自动对焦完成。
2.根据权利要求1所述的基于视场约束的神经网络优化自动变焦相机内参标定方法，其特征在于，步骤3中所述阈值设置为80。 说明书 : 基于视场约束的神经网络优化自动变焦相机内参标定方法技术领域[0001] 本发明属于变焦相机标定技术领域，具体涉及一种基于视场约束的神经网络优化自动变焦相机内参标定方法。背景技术[0002] 航空装配机器人自动制孔的精确受其姿态信息影响，因此测量装配机器人的姿态尤为重要。目前，视觉测量具有非接触性、成本低和信息丰富等优点。相机标定在视觉测量中扮演着非常重要的角色。相机标定可分为定焦和变焦标定。定焦镜头在近距离测量领域被广泛应用，并且具有较高的标定精度。定焦相机的内外参数标定存在几种算法：基于直接线性变换（DirectLinearTransformation,DLT）的标定算法、基于径向约束的两步标定算法、张正友标定算法以及独立于相机畸变的标定算法。Abdel‑Aziz,Y.I.、Karara,H.M.等人在2015年发布在《摄影测量工程与遥感》上的从比较器坐标到物体空间坐标的直接线性变换法用于近距离摄影测量属于最早的相机标定方法。张正友提出了一种广泛使用的标定方法，该方法利用棋盘格或圆形图案作为模板，从不同视角捕捉多张图像来确定相机的内外参数。与定焦镜头相比，变焦镜头在灵活性和可控性方面具有固有优势。然而，在大范围测量领域中，变焦镜头相机的标定挑战限制了其广泛应用。标定变焦镜头最简单的方法是在每个变焦和对焦设置下进行单焦距标定，然后在查找表中存储设置值和标定结果。为了减少标定工作量，Y.‑S.Chen等人在2001年的《图像和视觉计算》上发布了校准电动变焦镜头的简单高效方法，该方法选取了一组镜头设置的样本进行标定，然后进一步构建了一个稀疏表来插值所需的内参数。M.Sarkis等人在2009年的《电气和电子工程师学会自动化科学与工程论文集》上发布了用移动最小二乘法校准自动变焦摄像机，通过对变焦和对焦设置下的内参数的连续局部函数进行拟合，基于移动最小二乘法方案标定了变焦镜头。T.Xian等人在2004年的《国际光学工程学会》上发布了基于立体视觉的多视角3D建模系统的新型动态变焦校准技术，提出了一种基于透视投影的标定方法，使用多项式拟合来模拟变焦情况下相机的所有参数。[0003] 然而，在许多情况下，多项式未能找到最优解。使用神经网络优化方法将会更有优势。焦距变化会导致视场变化和图片模糊。发明内容[0004] 本发明的目的在于提供一种基于视场约束的神经网络优化自动变焦相机内参标定方法，该方法先视场约束后利用神经网络优化焦距与内参关系，再自动对焦，精度高，适用于变焦相机标定。[0005] 为实现上述目的，本发明采用如下技术方案：[0006] 一种基于视场约束的神经网络优化自动变焦相机内参标定方法，包括如下步骤：[0007] 步骤1：约束视场与焦距的关系，相机视场与焦距的关系： ，其中，S为像元尺寸，xres为分辨率，f为焦距，D为相机与靶标之间的距离，Hx为相机视场；[0008] 步骤2：基于神经网络优化焦距与相机内参关系；[0009] 首先，获取变焦相机焦距范围，根据焦距范围等间距固定若干个焦距，获取每个焦距下拍摄靶标的图片15张 30张，靶标在每张图片的中心且占据视场的比例为20%，采用张~正友相机标定方法获取若干组焦距与相机内参关系的数据集；其中，所述相机内参包括畸变系数和主点横纵坐标；[0010] 其次，将若干组焦距与相机内参关系的数据集按照比例为2:1分为训练集和测试集，然后对数据集进行归一化处理；[0011] 然后，分别采用多项式、高斯和三角函数对数据集拟合，再用多层感知机进行曲线优化，从而实现对相机内参的标定；[0012] 步骤3：自动对焦；设置图像清晰度的阈值，根据视场与焦距的关系固定当前焦距，然后以等间距改变像距，每个像距下拍摄一张图片，并利用图像清晰度函数获取图片的清晰度，比较图像清晰度和阈值的大小，当图像清晰度小于阈值时，再改变像距获取图片及图像清晰度，直到图像清晰度大于阈值时，自动对焦完成。[0013] 进一步地，步骤2中所述多层感知机的参数设置：训练回合数设置为10000，特征数范围为1 14，学习率设置为0.01，批次大小设置为32。~[0014] 进一步地，步骤3中所述阈值设置为80。[0015] 本发明先固定的视场与焦距的关系，有利于更精度的获取靶标像素坐标，为最终的高精度姿态求解提供保障；然后利用神经网络优化焦距与内参的对应关系，精确高，且效率快；最后自动调焦，避免了反复手动调焦的繁琐性。[0016] 本发明结合了视场和焦距的约束固定视场以及自动对焦算法使得图片变清晰，其中自动对焦算法可集成到相机软件中，以实现更高效和精确的自动相机标定。附图说明[0017] 图1为本发明的流程示意图。[0018] 图2为本发明实施例的畸变系数的拟合效果图。[0019] 图3为本发明实施例的主点横坐标的拟合效果图，其中（a）为多项式和高斯拟合效果图，（b）为三角函数拟合效果图。[0020] 图4为本发明实施例的主点纵坐标的拟合效果图，其中（a）为多项式和高斯拟合效果图，（b）为三角函数拟合效果图。[0021] 图5为本发明实施例的焦距沿X方向的拟合效果图，其中（a）为多项式和高斯拟合效果图，（b）为三角函数拟合效果图。[0022] 图6为本发明实施例的焦距沿Y方向的拟合效果图，其中（a）为多项式和高斯拟合效果图，（b）为三角函数拟合效果图。[0023] 图7为本发明实施例的畸变系数的拟合曲线图。[0024] 图8为本发明实施例的主点横坐标的拟合曲线图。[0025] 图9为本发明实施例的主点纵坐标的拟合曲线图。[0026] 图10为本发明实施例的焦距沿X方向的拟合曲线图。[0027] 图11为本发明实施例的焦距沿Y方向的拟合曲线图。[0028] 图12为本发明实施例的自动对焦实验图1。[0029] 图13为本发明实施例的自动对焦实验图2。具体实施方式[0030] 如图1所示，本实施例提供的一种基于视场约束的神经网络优化自动变焦相机内参标定方法包括如下步骤：[0031] 步骤1：约束视场与焦距的关系[0032] 相机视场与焦距的关系： ，其中，S为像元尺寸，xres为分辨率，S和xres均为相机的属性；f为焦距，D为相机与靶标之间的距离，通过激光跟踪仪获取；Hx为相机视场。[0033] 本实施例的靶标尺寸为800mm×800mm，视场范围内占比约20%，根据相机视场与焦距的关系求解出焦距。[0034] 步骤2：基于神经网络优化焦距与相机内参关系[0035] 本实施例以张正友相机标定方法为基础，利用神经网络对拟合曲线进行优化，从而提高变焦相机内参标定精度，具体过程如下：[0036] 首先，获取变焦相机焦距范围，根据焦距范围等间距固定若干个焦距，获取每个焦距下拍摄靶标的图片15张 30张，靶标在每张图片在相机中心且占据视场的比例为20%，采~用张正友相机标定方法获取若干组焦距与相机内参关系的数据集；其中，所述相机内参包括畸变系数和主点横纵坐标；[0037] 本实施例以某个相机为例，其相机的焦距范围16mm 96mm，等间距划分30个焦距，~获取30组焦距与相机内参关系。[0038] 其次，将若干组焦距与相机内参关系的数据集按照比例为2:1分为训练集和测试集，然后对数据集进行归一化处理，使得数据更加集中，以提高收敛速度和预测精度；[0039] 然后，分别采用多项式、高斯和三角函数对数据集拟合，再用多层感知机进行曲线优化，从而实现对相机内参的标定；[0040] 多层感知机的参数设置：训练回合数设置为10000，特征数范围为1 14，学习率设~置为0.01，批次大小设置为32；以最小化均方根误差损失函数更新求解最佳权重参数W和偏置参数b并评估拟合效果，对结果进行可视化，选择损失函数最小的作为最佳拟合曲线。[0041] 图2为本实施例畸变系数的拟合效果，图3中的（a）和（b）为主点横坐标的拟合效果，图4中的（a）和（b）为主点纵坐标的拟合效果，图5中的（a）和（b）为焦距沿X方向的拟合效果，图6中的（a）和（b）为焦距沿Y方向的拟合效果。从图2 图6中可知，除了主点纵坐标是高~斯拟合效果最好外，其余都是多项式拟合效果最好。[0042] 图7为本实施例畸变系数的神经网络优化后的拟合曲线图，畸变系数与焦距之间2 3 4 5 6 7 8的关系为y=‑0.014x+0.568x‑0.525x+0.362x‑0.556x+0.639x+0.581x‑0.025x。[0043] 图8为主点横坐标的神经网络优化后的拟合曲线图，主点横坐标与焦距之间的关2 3 4 5 6 7 8 9系为y=1.563x+1.024x+0.257x‑1.875x‑0.892x‑0.044x‑1.7x+1.581x+0.647x。[0044] 图9为主点纵坐标的神经网络优化后的拟合曲线图，主点纵坐标与焦距之间的关2 2 2 2系为y=‑0.432exp(‑(x‑0.0)/(2×12.5))+0.775exp(‑(x‑12.5)/(2×12.5))‑1.285exp2 2(‑(x‑25.0) /(2×12.5))。[0045] 图10为焦距沿X方向的神经网络优化后的拟合曲线图，焦距X方向与焦距之间的关2 3 4 5 6系为y=0.333x+0.277x‑0.911x+1.0x+1.1x‑0.78x。[0046] 图11为焦距沿Y方向的神经网络优化后的拟合曲线图，焦距Y方向与焦距之间的关2 3 4 5 6 7 8系为y=0.788x‑0.808x+0.353x+0.744x‑0.363x‑0.025x+0.764x‑0.411x。[0047] 步骤3：自动对焦[0048] 设置图像清晰度的阈值，根据视场与焦距的关系固定当前焦距，然后以等间距改变像距，每个像距下拍摄一张图片，并利用图像清晰度函数获取图片的清晰度，比较图像清晰度和阈值的大小，当图像清晰度小于阈值时，再改变像距获取图片及图像清晰度，直到图像清晰度大于阈值时，自动对焦完成。本实施例的阈值设置为80，自动对焦的实验图如图12所示和图13所示，图12为步距分别为6自动对焦实验图，图13为步距分别为10自动对焦实验图。[0049] 以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。

专利地区：四川

专利申请日期：2024-04-11

专利公开日期：2024-06-18

专利公告号：CN118037863B