一种2D-3D坐标系转换方法、系统及电子设备

专利名称：一种2D-3D坐标系转换方法、系统及电子设备

专利类型：发明专利

专利申请号：CN202410755981.4

专利申请（专利权）人：松立控股集团股份有限公司
权利人地址：山东省青岛市市南区宁夏路288号软件园6号楼11层

专利发明（设计）人：刘瑞,刘寒松,王永,王国强,李越

专利摘要：本发明涉及图像处理技术领域，特别涉及一种2D‑3D坐标系转换方法、系统及电子设备，先将RGB图像转换成重叠的嵌入令牌，同时获取3D建模数据的点云及其体素表示，再分别提取点特征和体素特征后将二者结合获得3D特征，然后通过三层级联的序列组注意力块的特征编码器对2D图像重叠的嵌入令牌进行编码，获取2D图像特征；最后进行2D‑3D特征匹配和坐标系转换，通过级联的序列组注意力结构，将完整特征的不同切分输入到不同的注意力头部，节省计算成本的同时提高了注意力的多样性和特征的辨别性，并且通过引入体素特征，提高了3D特征的表示能力，从而提升2D‑3D坐标系转换的性能。

主权利要求：
1.一种2D‑3D坐标系转换方法，其特征在于，包括以下步骤：S1、2D‑3D输入数据获取：将RGB图像转换成重叠的嵌入令牌，同时获取3D建模数据的点云及其体素表示，具体过程为：S11、对于给定的RGB训练图像 ，通过滑动窗口方式划分为若干等大的图像块，其中窗口的步长小于或等于图像块的边长，使图像块之间有重叠；使用一个全连接层或卷积层，将每个图像块的向量映射到C维空间，得到嵌入令牌 ；
S12、对于输入的3D建模数据 ，获取其体素表示V，将三维空间划分为规则的体素网格，将体素网格表示为一个三维数组，其中每个元素表示一个体素，对于每个点云数据点，使用最近邻搜索算法将每个点云数据点与最近的体素中心点进行关联；
S2、3D建模点云和体素特征编码：分别提取点特征和体素特征，将点特征与体素特征相结合获得3D特征；
S3、基于级联序列组注意力的2D图像特征编码：通过三层级联的基于对称夹心结构的序列组注意力块的特征编码器对2D图像重叠的嵌入令牌进行编码，获取2D图像特征；所述三层级联的序列组注意力块 中在 和 后分别加入一个下采样层以进行
2倍分辨率的下采样以实现多尺度的特征编码，其中 ，每个序列组注意力块为对称夹心结构，使用序列组自注意力层 和前馈交互层 进行通道通信，其中 包含一个深度空间卷积层 和一个前馈层 ，表示如下：，其中， 表示第n个前馈交
互层， ，N为前馈交互层的总数， 和 分别表示第n个前馈交互层的输出和输入特征；
序列组自注意力层 为每个头部接收不同的输入特征子集，并在每个头部之间将输出特征级联，序列组自注意力层 的工作过程为：S31、将特征 分割为h个子集，即 ，h是注意力头的总数，对于每个 ，其中 ，通过线性变换得到 ： ， ，
，其中， 是将输入特征分解到不同子空间的投影层；
S32、通过下式进行线性的自注意力： ，其中，
是ReLU核函数；
S33、利用线性层 将各个注意力头串联后的输出特征投影回与输入一致的维度，该过程表述为： ，S34、将每个注意力头的输出与后续头结合，以级联地细化特征表示：，其中， 是第N个输入分割 与第i‑1个头的输出 相加之和，在计算自注意力时， 替换 作为第i个头的新输入特征；
S35、每个序列组注意力块 在若干层前馈交互层中间插入单个序列组自注意力层进行空间混合，在单个序列组自注意力层的前后用N个前馈交互层将 转化为 ，计算过程如下： ，其中 为 的完整的输入特征，最终得到的2D图像特征表示为 ；
S4、2D‑3D特征匹配和坐标系转换：对3D特征和2D图像特征进行余弦相似度匹配，并通过基于Gauss‑Newton算法的迭代PnP求解器来估计位姿，获得坐标系转换系数。
2.根据权利要求1所述2D‑3D坐标系转换方法，其特征在于，步骤S2的具体过程为：S21、先通过稀疏卷积捕捉体素的三维空间模式，其中空体素被跳过，再通过使用三线性插值将每个点位置与其8个相邻的体素网格进行插值，将体素表示转换为逐点的体素特征 ；
S22、通过PointNet++提取点特征来恢复丢失的3D细节模式，获得全局特征和逐点特征 ；
S23、将体素特征与逐点特征相结合，得到3D特征表示： 。
3.根据权利要求2所述2D‑3D坐标系转换方法，其特征在于，步骤S4中对3D特征和2D图像特征进行余弦相似度匹配时， 和 之间的余弦相似度对应关系为：，在跨模态潜在空间上利用最近邻原则进行2D‑3D特征匹配，通过寻找每个2D像素坐标在跨模态隐空间中相似度最大的3D点坐标，建立2D‑3D对应关系；采用基于Gauss‑Newton算法的迭代PnP求解器估计位姿的过程为：给定一组对应关系 ，将其转化为PnP问题：，即寻找一个最优位姿 使得重投影误差最小，其中t
为平移向量，R为旋转矩阵： ，其中， 是投影函数，
是重投影误差，通过求解PnP问题，得到3D坐标与图像坐标之间的转换系数。
4.一种2D‑3D坐标系转换系统，其特征在于，完成如权利要求1‑3任一项所述方法，包括：
2D‑3D输入数据获取模块，用于获取RGB图像的重叠图像块嵌入令牌与3D建模数据点云及体素化表示；
3D建模点云和体素特征编码模块，通过结合稀疏卷积的体素表示和PointNet++的点特征学习获取3D特征；
基于级联序列组注意力的2D图像特征编码模块，通过级联序列组注意力对图像嵌入令牌进行特征编码，获得2D图像特征；
2D‑3D特征匹配和坐标系转换模块，将3D特征和2D图像特征进行相似度匹配，并通过基于Gauss‑Newton算法的迭代PnP求解器来估计位姿，获得坐标系转换系数。
5.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1‑3任一项所述方法。 说明书 : 一种2D‑3D坐标系转换方法、系统及电子设备技术领域[0001] 本发明涉及图像处理技术领域，特别涉及一种2D‑3D坐标系转换方法、系统及电子设备。背景技术[0002] 在当今的数字时代，从二维图像重建三维场景的需求正迅速增长。无论是在增强现实（AR）、虚拟现实（VR）、自动驾驶汽车，还是在城市规划和古迹保护等多个领域，准确的2D‑3D映射都是至关重要的技术，特别是在自动驾驶汽车中，车辆需要理解其周围环境的准确三维结构，以进行安全导航。[0003] 尽管目前存在多种方法能够进行2D‑3D转换，但很多方法在精度和效率上仍存在局限。传统的方法，如立体匹配和结构光，通常受限于特定的硬件，而且在复杂场景中容易出错。基于学习的方法虽然有所改善，但在处理巨大数据量时计算成本高昂，且难以处理稀疏点云数据。此外，现有的方法在处理高分辨率图像时，还面临内存效率低下和计算资源浪费的问题。例如，CN117710198A公开了一种二维空间到三维空间的关键点映射转换方法及系统，包括序列预处理模块：获取二维空间关键点序列的长度，进行稀疏化预处理，获得稀疏二维空间关键点序列；映射升维模块：对稀疏二维空间关键点序列进行序列建模，获得初步映射后的三维空间关键点序列；序列聚合模块：对初步映射后的三维空间关键点序列进行压缩聚合，获得中心目标的三维空间关键点；训练网络模块：采用监督学习对网络进行端到端训练，使用时空约束策略提高三维空间关键点估计网络的映射准确率；可视化模块用于获得可视化结果。CN103578133A公开了一种将二维图像信息进行三维重建的方法和设备，包括：确定位置参数和硬件参数、以及二维图像上的本征点信息；根据确定的位置参数、硬件参数和本征点信息确定映射矩阵；根据确定的映射矩阵，将二维图像上的像素点转换为三维坐标中的坐标点；并根据转换得到的三维坐标中的各个坐标点，确定二维图像对应的三维物体信息。发明内容[0004] 为了解决上述2D‑3D转换在精度和效率上的问题，本发明提出了一种2D‑3D坐标系转换方法、系统及电子设备，对场景的3D建模数据与RGB相机的2D平面图像进行特征匹配，从而对相机进行位姿估计，自动生成图像坐标系到世界坐标系的转换系数，便于计算图像的结构化数据的真实位置。[0005] 为了实现上述目的，本发明采用如下技术方案：[0006] 第一方面，本发明提供了一种2D‑3D坐标系转换方法，包括以下步骤：[0007] S1、2D‑3D输入数据获取：将RGB图像转换成重叠的嵌入令牌，同时获取3D建模数据的点云及其体素表示；[0008] S2、3D建模点云和体素特征编码：分别提取点特征和体素特征，将点特征与体素特征相结合获得3D特征；[0009] S3、基于级联序列组注意力的2D图像特征编码：通过三层级联的基于对称夹心结构的序列组注意力块的特征编码器对2D图像重叠的嵌入令牌进行编码，获取2D图像特征；[0010] S4、2D‑3D特征匹配和坐标系转换：对3D特征和2D图像特征进行余弦相似度匹配，并通过基于Gauss‑Newton算法的迭代PnP求解器来估计位姿，获得坐标系转换系数。[0011] 作为本发明的进一步技术方案，步骤S1的具体过程为：[0012] S11、对于给定的RGB训练图像 ，通过滑动窗口方式划分为若干等大的图像块，其中窗口的步长小于或等于图像块的边长，使图像块之间有重叠；使用一个全连接层或卷积层，将每个图像块的向量映射到C维空间，得到嵌入令牌 ；[0013] S12、对于输入的3D建模数据 ，获取其体素表示V，将三维空间划分为规则的体素网格，将体素网格表示为一个三维数组，其中每个元素表示一个体素，对于每个点云数据点，使用最近邻搜索算法将每个点云数据点与最近的体素中心点进行关联。[0014] 作为本发明的进一步技术方案，步骤S2的具体过程为：[0015] S21、先通过稀疏卷积捕捉体素的三维空间模式，其中空体素被跳过，再通过使用三线性插值将每个点位置与其8个相邻的体素网格进行插值，将体素表示转换为逐点的体素特征 ；[0016] S22、通过PointNet++提取点特征来恢复丢失的3D细节模式，获得全局特征和逐点特征 ；[0017] S23、将体素特征与逐点特征相结合，得到3D特征表示： 。[0018] 作为本发明的进一步技术方案，步骤S3所述三层级联的序列组注意力块 中在 和 后分别加入一个下采样层以进行2倍分辨率的下采样以实现多尺度的特征编码，其中 ，每个序列组注意力块为对称夹心结构，使用序列组自注意力层和前馈交互层 进行通道通信，其中 包含一个深度空间卷积层 和一个前馈层 ，表示如下： ，其中， 表示第n个前馈交互层， ，N为前馈交互层的总数， 和 分别表示第n个前馈交互层的输出和输入特征；[0019] 序列组自注意力层 为每个头部接收不同的输入特征子集，并在每个头部之间将输出特征级联，序列组自注意力层 的工作过程为：[0020] S31、将特征 分割为h个子集，即 ，h是注意力头的总数，对于每个 ，其中 ，通过线性变换得到 ： ， ，，其中， 是将输入特征分解到不同子空间的投影层；[0021] S32、通过下式进行线性的自注意力： ，其中，是ReLU核函数；[0022] S33、利用线性层 将各个注意力头串联后的输出特征投影回与输入一致的维度，该过程表述为： ；[0023] S34、将每个注意力头的输出与后续头结合，以级联地细化特征表示：，其中， 是第N个输入分割 与第i‑1个头的输出 相加之和，在计算自注意力时， 替换 作为第i个头的新输入特征；[0024] S35、每个序列组注意力块 在若干层前馈交互层中间插入单个序列组自注意力层进行空间混合，在单个序列组自注意力层的前后用N个前馈交互层将 转化为 ，计算过程如下： ，其中 为 的完整的输入特征，最终得到的2D图像特征表示为 。[0025] 作为本发明的进一步技术方案，步骤S4中对3D特征和2D图像特征进行余弦相似度匹配时， 和 之间的余弦相似度对应关系为： ，在跨模态潜在空间上利用最近邻原则进行2D‑3D特征匹配，通过寻找每个2D像素坐标在跨模态隐空间中相似度最大的3D点坐标，建立2D‑3D对应关系；采用基于Gauss‑Newton算法的迭代PnP求解器估计位姿的过程为：给定一组对应关系 ，将其转化为PnP问题：，即寻找一个最优位姿 使得重投影误差最小，其中t为平移向量，R为旋转矩阵： ，其中， 是投影函数，是重投影误差，通过求解PnP问题，得到3D坐标与图像坐标之间的转换系数。[0026] 第二方面，本发明提供一种2D‑3D坐标系转换系统，包括：[0027] 2D‑3D输入数据获取模块，用于获取RGB图像的重叠图像块嵌入令牌与3D建模数据点云及体素化表示；[0028] 3D建模点云和体素特征编码模块，通过结合稀疏卷积的体素表示和PointNet++的点特征学习获取3D特征；[0029] 基于级联序列组注意力的2D图像特征编码模块，通过级联序列组注意力对图像嵌入令牌进行特征编码，获得2D图像特征；[0030] 2D‑3D特征匹配和坐标系转换模块，将3D特征和2D图像特征进行相似度匹配，并通过基于Gauss‑Newton算法的迭代PnP求解器来估计位姿，获得坐标系转换系数。[0031] 第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。[0032] 第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。[0033] 与现有技术相比，本发明的有益效果是：[0034] 本发明通过级联的序列组注意力结构，将完整特征的不同切分输入到不同的注意力头部，节省计算成本的同时提高了注意力的多样性和特征的辨别性，并且通过引入体素特征，提高了3D特征的表示能力，从而提升2D‑3D坐标系转换的性能，具体具有以下优点：[0035] （1）基于级联序列组注意力的图像特征编码方法通过级联的序列组注意力结构进行多尺度的特征编码，将完整特征的不同切分输入到不同的注意力头部，节省计算成本的同时提高了注意力的多样性和特征的辨别性。[0036] （2）序列组注意力块通过在多个高效的前馈神经网络FFN层之间使用一个序列组注意力层的对称夹心结构来提高内存效率并增强通道间的通信，并且通过每个FFN之前的深度卷积增强学习局部结构信息的能力。[0037] （3）带有稀疏卷积的体素分支可以捕获空间局部模式并缩小与2D图像特征的领域差异，通过点特征与体素特征的融合，提高了3D特征表示的全面性并增强了每个点的空间信息，降低了2D‑3D匹配的难度。附图说明[0038] 构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本公开，并不构成对本发明的不当限定。[0039] 图1为本发明提供的一种2D‑3D坐标系转换方法流程示意图。[0040] 图2为本发明提供的一种2D‑3D坐标系转换系统结构框图。具体实施方式[0041] 下面结合附图与实施例对本发明作进一步说明。[0042] 应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。[0043] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。[0044] 在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。[0045] 实施例1：[0046] 如图1所示，本发明实施例中的一种基于级联序列组注意力的2D‑3D坐标系转换方法，包括如下步骤：[0047] S1、2D‑3D输入数据获取：[0048] 将RGB图像转换成重叠的嵌入令牌，同时获取3D建模数据的点云及其体素表示；具体为：[0049] S11、对于给定的RGB训练图像 ，通过滑动窗口方式划分为若干等大的图像块，其中窗口的步长小于或等于图像块的边长，确保图像块之间有重叠，重叠可以帮助捕捉更多的上下文信息，从而增强特征的表达力；使用一个可训练的线性变换（例如全连接层或卷积层），将每个图像块的向量映射到C维空间，得到嵌入令牌 ；[0050] S12、对于输入的3D建模数据 ，获取其体素表示V，将三维空间划分为规则的体素网格，将体素网格表示为一个三维数组，其中每个元素表示一个体素，对于每个点云数据点，使用最近邻搜索算法将每个点云数据点与最近的体素中心点进行关联。[0051] S2、3D建模点云和体素特征编码：[0052] 分别提取点特征和体素特征，将点特征与体素特征相结合获得丰富、全面的3D特征；具体为：[0053] S21、为了避免由体素数据有限的分辨率导致的信息丢失，先通过稀疏卷积捕捉体素的三维空间模式，其中空体素被跳过，再通过使用三线性插值将每个点位置与其8个相邻的体素网格进行插值，将体素表示转换为逐点的体素特征 ；[0054] S22、通过PointNet++提取点特征来恢复丢失的3D细节模式，获得全局特征和逐点特征 ；[0055] S23、将体素特征与逐点特征相结合，得到3D特征表示： 。[0056] S3、基于级联序列组注意力的2D图像特征编码：[0057] 通过三层级联的基于对称夹心结构的序列组注意力块的特征编码器对2D图像重叠的嵌入令牌进行编码，获取2D图像特征；具体地，将嵌入令牌 馈送到三层级联的序列组注意力块 的特征编码器中，其中 ，并且在 和 后分别加入一个下采样层以进行2倍分辨率的下采样以实现多尺度的特征编码，其中每个序列组注意力块为对称夹心结构，使用更少的内存限制的序列组自注意力层 和更多的存储高效前馈交互层 进行通道通信：[0058] 包含一个用于引入局部结构信息的归纳偏差并整合空间信息的深度空间卷积层 和一个允许特征通道之间高效通信的前馈层 ，表示如下：，其中， 表示第n个前馈交互层， ，N为前馈交互层的总数， 和 分别表示第n个前馈交互层的输出和输入特征；[0059] 序列组自注意力层 的每个头部接收不同的完整特征子集，从而有效地分解注意力模块中跨多个头部的注意力计算，增强输入注意力头部的特征的多样性，与现有对所有头部使用相同特征的自注意不同，序列组自注意力层为每个头部的接收不同的输入特征子集，并在每个头部之间将输出特征级联，该模块不仅减少了多头关注中的计算冗余，而且通过增加网络深度来提高模型容量，序列组自注意力层 的工作过程为：[0060] S31、将特征 分割为h个子集，即 ，h是注意力头的总数，对于每个 ，其中 ，通过线性变换得到 ： ， ，，其中， 是将输入特征分解到不同子空间的投影层；[0061] S32、通过下式进行线性的自注意力： ，其中，是ReLU核函数，相较于softmax注意力，线性注意力复杂度更低，且在硬件上效率较高并减少延迟；[0062] S33、利用线性层 将各个注意力头串联后的输出特征投影回与输入一致的维度，保证维度聚合一致性，该过程表述为： ，[0063] S34、为了进一步增强学习包含更全面信息的特征表示的能力，序列组注意力将每个注意力头的输出与后续头结合，以级联地细化特征表示： ，其中， 是第N个输入分割 与第i‑1个头的输出 相加之和，在计算自注意力时，替换 作为第i个头的新输入特征；[0064] 每个序列组注意力块 在若干层前馈交互层中间插入单个序列组自注意力层进行空间混合，在单个序列组自注意力层的前后用N个前馈交互层将 转化为 ，计算过程如下： ，其中 为 的完整的输入特征，这样的设计减少了模型中自注意力层带来的内存时间消耗，并且应用了更多的前馈层以允许不同特征通道之间的高效通信，最终得到的2D图像特征表示为 。[0065] S4、2D‑3D特征匹配和坐标系转换：[0066] 经过步骤S2和S3后，2D图像特征和3D特征被映射到相同的潜在空间中，对3D和2D特征表示进行余弦相似度匹配，并通过基于Gauss‑Newton算法的迭代PnP求解器来估计位姿，获得坐标系转换系数，其中 和 之间的余弦相似度对应关系为： ，在跨模态潜在空间上利用最近邻原则进行2D‑3D特征匹配。由于点和像素的密度不同，它们并不具有完全的一一对应关系，为了避免歧义匹配，本方法实施例通过寻找每个2D像素坐标在跨模态隐空间中相似度最大的3D点坐标，建立2D‑3D对应关系，采用基于Gauss‑Newton(GN)算法的迭代PnP求解器估计位姿的过程为：给定一组对应关系 ，PnP问题是寻找一个最优位姿 使得重投影误差最小，其中t为平移向量，R为旋转矩阵： ，其中，是投影函数， 是重投影误差，通过求解PnP问题，得到3D坐标与图像坐标之间的转换系数。[0067] 本实施例通过将全图特征切分并输入到不同的注意力头部，既减少了计算负担，又提高了特征的辨别力。此外，本实施例通过稀疏卷积获取体素特征，在捕捉空间局部模式时表现出更强大的性能，有效降低由体素数据有限分辨率带来的信息损失，通过点特征与体素特征的融合，提高3D特征表示的全面性并增强每个点的空间信息。[0068] 综上所述，本实施例能够显著提高从2D‑3D模型的匹配能力和坐标系转换准确度，为计算图像的结构化数据在现实世界的确切位置提供了可能。在自动驾驶中，该方法能够帮助车辆更好地理解环境，提高行驶的安全性，不仅在技术上有突破，在商业和社会价值上也具有深远的意义，为相关产业提供了创新的解决方案，使得2D‑3D坐标系转换成为可用、高效和精确的技术，满足市场上对于高质量三维视觉信息的需求。[0069] 实施例2：[0070] 如图2所示，本实施例提供了一种2D‑3D坐标系转换系统，包括：[0071] 2D‑3D输入数据获取模块，用于获取RGB图像的重叠图像块嵌入令牌与3D建模数据点云及体素化表示；[0072] 3D建模点云和体素特征编码模块，通过结合稀疏卷积的体素表示和PointNet++的点特征学习获取3D特征；[0073] 基于级联序列组注意力的2D图像特征编码模块，通过级联序列组注意力对图像嵌入令牌进行特征编码，获得2D图像特征；[0074] 2D‑3D特征匹配和坐标系转换模块，将3D特征和2D图像特征表示进行相似度匹配，并通过基于Gauss‑Newton算法的迭代PnP求解器来估计位姿，获得坐标系转换系数。[0075] 此处需要说明的是，上述模块对应于实施例1中的步骤S1至S4，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为机器人系统的一部分可以在诸如一组计算机可执行指令的嵌入式系统中执行。[0076] 在更多实施例中，还提供：[0077] 一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。[0078] 应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0079] 存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。[0080] 一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。[0081] 实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。[0082] 本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。[0083] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。[0084] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

专利地区：山东

专利申请日期：2024-06-13

专利公开日期：2024-09-17

专利公告号：2024-09-17