可左右滑动选省市

一种岩土颗粒三维点云语义分类方法发明专利

更新时间:2024-11-01
一种岩土颗粒三维点云语义分类方法发明专利 专利申请类型:发明专利;
地区:湖北-武汉;
源自:武汉高价值专利检索信息库;

专利名称:一种岩土颗粒三维点云语义分类方法

专利类型:发明专利

专利申请号:CN202410004188.0

专利申请(专利权)人:华中科技大学
权利人地址:湖北省武汉市洪山区珞喻路1037号

专利发明(设计)人:郑俊星,习俊博,高琳,刘华北,王栋,苗雨,宁英杰,王丽静

专利摘要:本发明提供一种岩土颗粒三维点云语义分类方法,涉及岩土颗粒形状表征分类领域。所述分类方法为对岩土颗粒点云的圆度和球度语义进行分类,以X光计算机断层扫描获取的点云作为网络模型的输入,输入将依次进入两个相同的模块以实现局部特征和全局特征的提取;模块有两个部分:局部特征聚合和全局特征学习,分别基于Pointconv和Transformer。Pointconv增强网络模型对角度和球度局部特征的快速建模能力。Transformer能够从整体分析颗粒的角度和球度,并准确地拟合出全局特征以给网络模型提供分类依据。本发明克服了现有技术的不足,提高了岩土颗粒点云语义分类方法的速度和准确度。

主权利要求:
1.一种岩土颗粒三维点云语义分类方法,其特征在于,所述分类方法包括以下步骤:S1、将岩土颗粒点云按圆度和球度预定义进行分类;
S2、在实际采样检测过程中,通过X射线计算机断层扫描获得土壤颗粒数据集,局部特征聚合给定输入岩土颗粒点云,对于采样点的每个邻域,用上下文融合方法对邻域的坐标和特征信息进行编码和组合,然后采用边缘卷积对局部特征进行聚合形成局部特征聚合网络;
所述对邻域的坐标和特征信息进行编码和组合的具体方式包括以下步骤:
S2‑1‑1、给定采样点xi的邻域χi,每个邻域点xj有两种上下文:用于描述三维空间中几何分布的坐标上下文Pj和用于分析点云分类语义信息的特征上下文Fj,其中i和j表示第i和j个采样点;
S2‑1‑2、为了利用上下文,将Pj和Fj结合起来用 表示,其中 是xj的合成特征,基于这些组合特征,定义xi和xj之间的关系为:
所述边缘卷积聚合局部特征具体为:
S2‑2‑1、利用χi中点的合成特征 表示拓扑关系中边的位置和上下文特征;
S2‑2‑2、定义有向图Ψ={B,E},重建颗粒点云局部χi的拓扑结构;其中B表示邻域中的点 K为χi中的点个数,E表示在有向图中xi和xj的连接特征,连接特征E的计算定义为:其中Conv(*)表示卷积核为1×1的卷积操作;
S2‑2‑3、利用maxpooling操作将局部圆度和球度信息聚合到相应的采样点xi上,形成xi的新的特征yi,表示为:S3、采用3DTransformer应用向量注意力机制将输入颗粒点云的不同部分的圆度和球度特征表示成矢量,允许分类模型更细粒度地捕捉特征信息;
S4、在向量注意力机制中,引入一种可学习的位置编码来融合局部空间信息,为原本无序点云的每个采样点引入位置唯一的编码;
S5、引入偏移向量允许网络模型自适应地调整关注的位置,捕获序列中的长距离依赖关系;
S6、计算获得自注意输出特征Fsa,并根据自注意输出特征Fsa提供最终输出特征Fout,后根据最终输出特征Fout完成分类;
所述Fout具体计算方法:利用Fsa和输入采样点聚合特征Y求得偏移算子Fva=Y‑Fsa;输入Fva,依次经过线性层、批次归一化层和ReLU激活函数层组合在一起的深度学习结构为整个网络提供最终输出特征Fout=LBR(Fva)+Y,其中LBR是一种将线性层、批次归一化层和ReLU激活函数层组合在一起的深度学习结构。
2.根据权利要求1所述的一种岩土颗粒三维点云语义分类方法,其特征在于,所述步骤S1中岩土颗粒点云分成12个类别,分别为:高圆度‑高球形度、高圆度‑低球形度、中圆度‑高球形度、中圆度‑低球形度、次圆度‑高球形度、次圆度‑低球形度、次棱角度‑高球形度、次棱角度‑低球形度、中棱角度‑高球形度、中棱角度‑低球形度、高棱角度‑高球形度和高棱角度‑低球形度。
3.根据权利要求1所述的一种岩土颗粒三维点云语义分类方法,其特征在于,所述步骤S2中输入的岩土颗粒点云包括顶点的位置归一化绝对坐标(x,y,z)、每个顶点的法向量信息(nx,ny,nz)。
4.根据权利要求1所述的一种岩土颗粒三维点云语义分类方法,其特征在于,所述步骤S2中输入的岩土颗粒点云需经过下采样处理,且具体的处理方式为:采用最近邻采样算法在相同采样点数量的情况下对源点集下采样。
5.根据权利要求1所述的一种岩土颗粒三维点云语义分类方法,其特征在于,所述步骤S3中矢量的注意力权值的计算方式为:S3‑1、给定输入特征 首先计算查询矩阵Q、键矩阵K和值矩阵V;
S3‑2、使用查询矩阵Q和键矩阵K,结合输入采样点的位置编码,通过矩阵矢量运算求得矢量注意力权值S3‑3、使用函数 将权值 归一化得到A。
6.根据权利要求5所述的一种岩土颗粒三维点云语义分类方法,其特征在于,所述步骤S4中可学习的位置编码具体为:利用采样点xi的邻域χi中每个点的相对坐标 来序列化三维信息。
7.根据权利要求6所述的一种岩土颗粒三维点云语义分类方法,其特征在于,所述步骤S6中Fsa的计算方法为:注意权值和包含了实际的输入聚合特征内容的扩展值矩阵 加权和,求得自注意输出特征Fsa。 说明书 : 一种岩土颗粒三维点云语义分类方法技术领域[0001] 本发明涉及岩土颗粒形状表征分析领域,尤其涉及一种岩土颗粒三维点云语义分类方法。背景技术[0002] 颗粒的棱角和球度对土壤的宏观机械特性有很大影响。棱角分明的颗粒具有尖锐的凸起和棱角,它们相互交错,形成许多接触点,从而加强了颗粒土的承重结构。另一方面,球形颗粒在压缩时更容易排列整齐并紧密堆积,从而减少土壤颗粒之间的空隙。实验和数值研究都表明,颗粒角度和圆度对土壤的剪切强度、可压缩性、空隙结构和变形行为有很大影响。因此表征颗粒的棱角和球度对研究土壤的力学性能十分必要。[0003] 传统的土壤颗粒表征采用计算几何算法分析二维图像或三维模型,自动计算球度和圆度。但是,二维计算几何法用颗粒的某个投影的球度和圆度表示三维形状特征时具有固有的局限性。同一个三维土壤颗粒的三个视图,有着不同的球度和圆度。因此,二维形状描述符具有不确定性,无法准确表征颗粒的球度和圆度。三维计算几何对粒子扫描或重建质量的鲁棒性较差。三维几何算法不适用于表征有缺陷的三维形状的棱角和球度。[0004] 用于处理点云数据的深度学习算法发展迅速,使得利用人工智能对三维粒子数据进行分类成为可能。深度学习的优势在于可以让计算机像人类一样理解和处理土壤颗粒的圆度和球度特征,对有缺陷的颗粒具有鲁棒性。并且,处理点云的深度学习由于模型规模较小,采用训练好的模型对土壤颗粒的球度和圆度端到端的推理分类,因此大大提高了表征效率。发明内容[0005] 针对现有技术不足,本发明提供一种岩土颗粒三维点云语义分类方法,对土壤颗粒点云的表征具有快速和高鲁棒性的优点。[0006] 为了实现上述目的,本发明采用了如下技术方案:[0007] 一种岩土颗粒三维点云语义分类方法,所述分类方法包括以下步骤:[0008] S1、将岩土颗粒点云按圆度和球度预定义进行分类;[0009] S2、在实际采样检测过程中,通过X射线计算机断层扫描获得土壤颗粒数据集,局部特征聚合给定输入岩土颗粒点云,对于采样点的每个邻域,用上下文融合方法对邻域的坐标和特征信息进行编码和组合,然后采用边缘卷积对局部特征进行聚合,局部特征聚合网络;[0010] S3、采用3DTransformer应用向量注意力机制将输入颗粒点云的不同部分的球度和角度特征表示成矢量,允许分类模型更细粒度地捕捉特征信息;[0011] S4、在向量注意力机制中,引入一种可学习的位置编码来融合局部空间信息,为原本无序点云的每个采样点引入位置唯一的编码;[0012] S5、引入偏移向量允许网络模型自适应地调整关注的位置,捕获序列中的长距离依赖关系;[0013] S6、计算获得自注意输出特征Fsa,并根据自注意输出特征Fsa提供最终输出特征Fout,后根据最终输出特征Fout完成分类。[0014] 优选的,所述步骤S1中岩土颗粒点云分成12个类别,分别为:高圆度‑高球形度、高圆度‑低球形度、中圆度‑高球形度、中圆度‑低球形度、次圆度‑高球形度、次圆度‑低球形度、次棱角度‑高球形度、次棱角度‑低球形度、中棱角度‑高球形度、中棱角度‑低球形度、高棱角度‑高球形度和高棱角度‑低球形度。[0015] 优选的,所述步骤S2中输入的岩土颗粒点云包括点的位置归一化绝对坐标(x,y,z)、每个顶点的法向量信息(nx,ny,nz)。[0016] 优选的,所述步骤S2中输入的岩土颗粒点云需经过下采样处理,且具体的处理方式为:采用最近邻采样算法在相同采样点数量的情况下对源点集下采样。[0017] 优选的,所述步骤S2中对邻域的坐标和特征信息进行编码和组合的具体方式包括以下步骤:[0018] S2‑1‑1、给定采样点xi的邻域χi,每个邻域点xj有两种上下文:用于描述三维空间中几何分布的坐标上下文Pj和用于分析点云分类语义信息的特征上下文Fj;[0019] S2‑1‑2、为了利用上下文,将Pj和Fj结合起来用 表示,其中是xj的合成特征,基于这些组合特征,定义xi和xj之间的关系为:[0020][0021] 优选的,所述步骤S2中边缘卷积聚合局部特征具体为:[0022] S2‑2‑1、利用χi中点的合成特征 表示拓扑关系中边的位置和上下文特征;[0023] S2‑2‑2、定义有向图Ψ={B,E},重建颗粒点云局部χi的拓扑结构;其中B表示邻域中的点 K为χi中的点个数,E表示在有向图中xi和xj的连接特征,连接特征E的计算可以定义为:[0024][0025] 其中Conv(*)表示卷积核为1×1的卷积操作;[0026] S2‑2‑3、利用maxpooling操作将局部圆度和球度信息聚合到相应的采样点xi上,形成xi的新的特征yi,表示为:[0027][0028] 优选的,所述步骤S3中矢量的注意力权值的计算方式为:[0029] S3‑1、给定输入特征 首先计算查询矩阵Q、键矩阵K和值矩阵V;[0030] S3‑2、使用查询矩阵Q和键矩阵K,结合输入采样点的位置编码,通过矩阵矢量运算求得矢量注意力权值[0031] S3‑3、使用函数 将权值 归一化得到A。[0032] 优选的,所述步骤S4中可学习的位置编码具体为:利用采样点xi的邻域χi中每个点的相对坐标 来序列化三维信息。[0033] 优选的,所述步骤S6中Fsa的计算方法为:注意权值和包含了实际的输入聚合特征内容的扩展值矩阵 加权和,求得自注意输出特征Fsa。[0034] 优选的,所述步骤S6中Fout具体位置:利用Fsa和输入采样点聚合特征Y求得偏移算子Fva=Y‑Fsa;输入Fva,依次经过线性层、批次归一化层和ReLU激活函数层组合在一起的深度学习结构为整个网络提供最终输出特征Fout=LBR(Fva)+Y,其中LBR是一种将线性层、批次归一化层和ReLU激活函数层组合在一起的深度学习结构。[0035] 本发明提供一种岩土颗粒三维点云语义分类方法,与现有技术相比优点在于:[0036] 本发明对岩土颗粒点云的圆度和球度语义进行分类,以X光计算机断层扫描(CT)获取的点云作为Pointconv‑Transformer网络模型的输入,输入将依次进入两个相同的模块以实现局部特征和全局特征的提取。模块有两个部分:局部特征聚合和全局特征学习,分别基于Pointconv和Transformer。Pointconv增强网络模型对角度和球度局部特征的快速建模能力。Transformer能够从整体分析颗粒的角度和球度,并准确地拟合出全局特征以给网络模型提供分类依据。两个模块提取的特征将在卷积层完成特征升维进一步捕获低维空间观察不到的角度和球度特征。特征升维后应用全局最大池化,用较少的参数开销得到颗粒点云的角度和球度特征,提升岩土颗粒点云语义分类方法的速度和准确度。附图说明[0037] 图1为本发明实施岩土颗粒三维点云语义分类网络结构图;[0038] 图2为本发明实施例1,12类岩土颗粒3维模型图;[0039] 图3为本发明实施例1岩土颗粒点云数据集;[0040] 图4为本发明实施例1局部特征聚合网络结构图;[0041] 图5为本发明实施例1顶点法向量计算原理图;[0042] 图6为本发明实施例1点云降采样结果图;[0043] 图7为本发明实施例2全局特征提取网络结构图;[0044] 图8为本发明实施例2土壤颗粒点云偏移注意映射图;[0045] 图9为本发明实施例2土壤颗粒12类点云分类结果。具体实施方式[0046] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。[0047] 在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。[0048] 实施例1:[0049] 12类岩土颗粒3维模型如图2所示;[0050] 将土壤颗粒放置圆柱形管中,通过X射线计算机断层扫描获得土壤颗粒数据集如图3所示。局部特征聚合给定输入岩土颗粒点云,对于采样点的每个邻域,用上下文融合方法对邻域的坐标和特征信息进行编码和组合,然后采用边缘卷积对局部特征进行聚合,局部特征聚合网络如图4所示。[0051] 其中输入的岩土颗粒点云包括顶点的位置归一化绝对坐标(x,y,z)、顶点的法向量信息(nx,ny,nz)。顶点法向量计算具体为:[0052] 计算顶点法向量需要输入由顶点和三角形面组成的3维模型,如图5(a)所示。图5(b)展示包含顶点O的所有三角形及对应的法向量。顶点O的法向量定义为包含顶点O的所有三角形面的法向量的平均值,如公式(2)所示。如图5(c)所示。三角形面的法向量可由从顶点O指向另外两个顶点的向量a1和b1叉积的单位向量表示,求三角形面法向量如公式(1)所示。[0053][0054][0055] (2)输入的岩土颗粒点云需经过下采样处理,采样结果如图6所示,具体为:[0056] 迭代地对来自源点集S的n个点{pi∣i=1,…,n}进行下采样,使得pm是与其余点相比距点集{pj∣j=1,…,m‑1,m≤n}具有最大欧几里得距离的点。具体地,首先从S中选择两个点p1和p2,其中p1是随机点,p2是距离p1最欧几里得的点。[0057] 然后,计算从S的任意点pi到p1和p2的距离,并分别表示为 和 取这两个距离中较小的一个,即 作为从pi到两点集的距离,通过从S中选择到两点集中距离最大的点来确定第三采样点。重复执行上述步骤,直到对n个点进行采样为止。注意,由于p1的随机性以及在每个采样过程中所有采样点都使用一次且仅使用一次的事实,从一个粒子的点云中采样的两个点子集是完全不同的。[0058] (3)坐标和特征信息编码具体为:[0059] 给定采样点xi的邻域χi,每个邻域点xj有两种上下文:坐标上下文Pj和特征上下文Fj,前者用于描述三维空间中的几何分布,后者用于分析点云分类的语义信息。[0060] 为了利用上下文,将Pj和Fj结合起来用 表示。其中 是xj的合成特征。基于这些组合特征,定义xi和xj之间的关系为:[0061][0062] (4)边缘卷积聚合局部特征具体为:[0063] 利用χi中点的合成特征 表示拓扑关系中边的位置和上下文特征。[0064] 利用χi中点的合成特征 表示拓扑关系中边的位置和上下文特征。定义了有向图Ψ={B,E},来重建颗粒点云局部χi的拓扑结构。其中B表示邻域中的点 K表示χi中的点个数,E表示有向图中,xi和xj的连接特征。连接特征E的计算可以定义为:[0065][0066] 其中Conv(*)表示卷积核为1×1的卷积操作,1×1的卷积核能够降低分类模型的复杂度,提高训练和推理速度。在模型训练阶段,卷积核是拟合局部圆度和球度模型的可学习参数,能够根据输入的圆度和球度学习知识自动更新。[0067] 在计算完χi内点的所有连接特征后,利用maxpooling操作将局部圆度和球度信息聚合到相应的采样点xi上,形成xi的新的特征,表示为:[0068][0069] maxpooling操作能够保留圆度和球度重要特征的同时减小特征图的尺寸,进而减少下一层网络的参数,以提高模型的效率和性能。[0070] 实施例2:[0071] 基于上述实施例1,采用3DTransformer应用向量注意力机制将输入颗粒点云的不同部分的球度和角度特征表示成矢量,允许分类模型更细粒度地捕捉特征信息并且可以应对更复杂的关系和结构。在向量注意力机制中,引入一种可学习的位置编码来融合局部空间信息,为原本无序点云的每个采样点引入位置唯一的编码。引入偏移向量允许网络模型自适应地调整关注的位置,从而更好地捕获序列中的长距离依赖关系,全局特征提取网络如图7所示:[0072] (1)矢量注意力权值具体为:[0073] 给定输入特征 首先计算查询矩阵、键矩阵和值矩阵。查询矩阵决定了网络模型在输入聚合特征序列中的哪些部分需要关注,键矩阵提供了需要关注部分的圆度和球度特征表示,而值矩阵包含了实际的输入聚合特征的内容。3个矩阵的计算公式如下:[0074] Q=WQ×Y[0075] K=WK×Y(6)[0076] V=WV×Y[0077] 式中, 和 WQ、WK、WV为三个可学习的权重矩阵能够使模型可以根据不同任务的要求学习不同的权重,而不需要手动设计特征权重。在本文,我们不需要显示定圆度,球度,凹凸度等特征。这些特征的权重被自动隐式的学习到,通过在训练阶段学习并更新特征权重矩阵。[0078] 使用查询矩阵和关键矩阵,结合位置编码ρva,通过矩阵矢量运算计算关注权值:[0079][0080] 其中τ()表示产生注意图的多层感知机(MLP)操作,MLP是一种非线性映射函数,能够将输入特征映射到输出空间,并且通过学习参数,捕捉输入特征之间的复杂关系;如公式所示。ρva为输入采样点的位置编码,如公式所示:[0081][0082] 其中,qm和kn分别为查询特征和值特征。 是用来度量qm和kn间对应通道的差值,将查询特征和值特征结合起来并矢量化。与标量注意相比,矢量注意力通常具有更强的表达能力,可以更好地拟合颗粒圆度和球度的显示和隐式特征。[0083] 然后将这 些权重归一化得到 σ为归一化函数其中L1为L1范数,权重归一化有助于减少球度和圆度分类模型过拟合的风险。通过将权重约束在较小的范围内,可以降低模型对训练数据的过分拟合,从而提高分类模型的泛化性能。归一化函数σ可以引入稀疏性,将大部分权重设置为零,减少模型的复杂性、降低过拟合风险、增强模型对颗粒圆度和球度的分类效率:[0084][0085][0086] (2)可学习的位置编码具体为:[0087][0088] 在向量注意中,引入了一种通过更新参数可学习的位置编码ρva来提取局部空间信息,这是表示局部特征的重要步骤。利用采样点xi的邻域χi中每个点的相对坐标来序列化三维信息。这个操作将无序的颗粒点云序列化使神经网络能够考虑点的排列以从点云中获得一些全局性质。其中 是χi中点序列化的矩阵形式,如公式所示。ξ表示两个线性层分别嵌入批归一化和ReLU组成的MLP操作,将特征维数从3扩展到与Q和K相同的维数,同时提高了分类网络模型的非线性表示学习能力。[0089][0090] (3)自注意输出特征具体为:[0091] 自注意输出特征Fsa被定义为注意权值和包含了实际的输入聚合特征内容的扩展值矩阵 加权和, 是为保证方程中两项形状相同而将V展开的值矩阵,展开的部分值设置为0。当两项矩阵具有相同形状时,可以更容易地利用并行计算,从而提高模型的训练和推理速度:[0092][0093] 查询,键和值矩阵是共享的线性变换矩阵。多个卷积层通过共享权重,可以大幅减少模型的参数数量,降低了过拟合的风险,模型提高的训练和推理速度。[0094] (4)偏移注意网络最终输出特征具体为:[0095] 利用关注特征Fsa和输入采样点聚合特征Y求得偏移算子Fva:[0096] Fva=Y‑Fsa(14)[0097] 输入偏移算子Fva,依次经过线性层、批次归一化层和ReLU激活函数层组合在一起的深度学习结构为整个网络提供最终输出特征Fout,注意力机制网络关注的点云区域如图8所示。[0098] Fout=LBR(Fva)+Y(15)[0099] 其中,LBR是一种将线性层(Linear)、批次归一化层(BatchNormalization,BN)和ReLU激活函数层组合在一起的深度学习结构。LBR的线性层有助于模型学习自关注特征Fsa的线性关系,即通过权重和偏差来创建特征的线性组合。批次归一化层通过标准化每个批次中的自关注特征Fva,使其均值接近0,标准差接近1,有助于提高训练稳定性和加速训练过程,同时提高模型的泛化性能。ReLU激活函数层将自关注特征Fva小于零的部分置为零,同时保持正值不变,有助于引入非线性性质,使神经网络能够学习非线性关系,提高模型的表达能力。最后将LBR层的输出特征加上原有的局部特征作为整个网络的输出。[0100] 根据上述实施例1和2的分类方法,进一步验证土壤颗粒圆度和球度分类器的性能,使用训练完成的Pointconv‑Transformer对测试集的土壤颗粒进行分类;图9展示了12类土壤颗粒分类的结果,每组类别的颗粒都由大小不一但球度‑圆度相同的颗粒组成。[0101] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

专利地区:湖北

专利申请日期:2024-01-03

专利公开日期:2024-09-03

专利公告号:CN118154929B


以上信息来自国家知识产权局,如信息有误请联系我方更正!
电话咨询
读内容
搜本页
回顶部