本发明属于三维点云分类的，具体涉及一种基于互斥体协作网络的三维点云零样本分类方法及装置。
背景技术：
1、在计算机视觉中，图像识别或分类是重要的基础任务，深度学习网络在学习该任务的判别特征方面取得了显著进展。尽管如此，这些方法表现出对监督质量的强烈依赖，而收集标签这一过程需要大量的时间和劳动力。此外，随着新的增量类别不断出现，则需要重新训练新的分类网络。因此，传统的图像识别网络越来越不实用。零样本学习(zsl)受人类视觉感知(可以利用可见和不可见类的共享属性来识别新类)的启发，目标是识别从训练阶段没有数据可用的看不见的类中的目标。更现实的是，广义零样本学习(gzsl)试图训练分类器来同时区分可见和不可见样本，是近年来广受关注的一个热门话题。
2、为了实现(g)zsl，一种常用的方法涉及通过利用属性、词向量和句子等自然语言向量在可见和不可见对象之间传递语义知识。在2d图像领域，先前的工作侧重于建立可见类的视觉特征和语义属性嵌入特征之间的关系。后来，一些使用生成模型的特征生成方法旨在直接优化真实数据和生成数据之间的问题。然而，其在三维点云领域的实用性在很大程度上仍是未知领域。
3、一种选择是直接将现有的图像zsl方法应用于3d点云，然而，这可能会受到一些限制，导致性能较差：(1)数据结构差异：不同于标准网格形式的图像数据，三维点云是不规则的，数据信息较少，仅有n个点的坐标信息。比如一些2d工作在网络的最后一层采用注意力图，这就不适合于3d点云，这种强制应用将改变3d点云数据的空间特性，导致特征错位。(2)3d表征能力弱：2d特征提取器结构多样、具有广泛的大型数据集预训练，具有非常好的预训练特征表达能力，而在3d领域，点云特征编码器结构研究不深、没有大型的通用数据集预训练，这给推导高判别性特征带来了困难。因此，3d特征经常表现出不太明显的聚类模式，导致不同类别之间的特征距离更近，也就是说，从所看到的样本中学习到的模型是有偏差的。
技术实现思路
1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于互斥体协作网络的三维点云零样本分类方法及装置，旨在解决3d数据结构差异、3d表征能力弱引起的模型偏差、特征判别力弱导致的零样本分类性能差的问题，希望能发散地学习3d特征，以明确地发现对象的更多判别部分，帮助零样本学习通过发散信息总结样本的通用特征和判别特征。
2、为了达到上述目的，本发明采用以下技术方案：
3、第一方面，本发明提供了一种基于互斥体协作网络的三维点云零样本分类方法，包括下述步骤：
4、数据集预处理，分割数据集为可见类别和不可见类别样本，并获取可见类别和不可见类别样本的语义特征向量；
5、构建互斥体协作神经网络，所述互斥体协作神经网络包括点云编码器、互斥体学习模块、双分支学习模块和分类模块；所述点云编码器对三维点云进行特征提取；所述互斥体学习模块对提取的特征进行互斥部分激活，得到k个激活特征；所述双分支学习模块分别通过互斥、协作两个分支将互斥体特征融合嵌入；所述分类模块用于对三维点云进行分类；
6、采取互斥损失、分类损失和正则化损失函数更新梯度传播，以端到端的方式训练互斥体协作神经网络；
7、基于训练好的互斥体协作神经网络，对双分支特征融合，并与类别语义特征向量进行匹配，得到分类结果。
8、作为优选的技术方案，所述可见类别和不可见类别样本之间是没有交集的，可见类别和不可见类别样本分别是指训练中模型可以接收的样本和不能接收的样本类别。
9、作为优选的技术方案，所述点云编码器对三维点云进行特征提取，具体为：
10、将三维点云x输入点云编码器中进行语义特征提取，获得点云特征c为语义特征的维度；所述点云编码器为预训练好的pointnet、pointaug、pointconv或dgcnn网络。
11、作为优选的技术方案，所述互斥体学习模块对提取的特征进行互斥部分激活，得到k个激活特征，具体为：
12、对于提取好的三维点云特征f(x)，通过一层卷积层将其扩展到k层构建激活向量集合构建激活向量之间的相似性损失lmut为：
13、
14、其中，i和j指代向量集合p的索引，其大小在1～k的范围内；通过网络训练优化上式，k个激活向量都是互斥的，因此发散地学习整个点云特征，随后通过融合来自多个互斥点云特征的互补语义来激活整个对象；最后，通过元素相乘更新原始点云特征为此处表示集合中的每个pi均与f(x)进行张量乘法运算，得到f′i(x)，将k个互斥特征集合化得到f′。
15、作为优选的技术方案，所述双分支学习模块具体为：
16、互斥分支不对互斥特征进行协作处理，直接将互斥特征进行级联操作得到后通过一层线性层得到能与语义属性向量进行匹配的特征目的在于学习互斥部分的直接组合对分类的影响，从而学习到类别属性和物体部分组合的关系；
17、协作分支，由于互斥部分来自同一个对象，因此对象的这k个激活部分的学习特征是高度协作的，故使用图结构来显式的对点云的不同部分之间的空间和外观关系信息进行建模，具体为：
18、将k个互斥体特征作为图的节点来构建图，其邻接矩阵表示互斥部分的成对关系，构造方式是使用点积来计算嵌入空间中的协作信息，即：
19、
20、其中，和θ是两个可学习的线性投影，结合了relu激活函数，将特征相关性值映射到一个新的空间中，随后采用l层图卷积进行信息传播为：
21、
22、其中表示第l层图卷积中的节点特征表示，即d(l)图卷积该层的权重，σ表示relu激活函数；随后经过l层图卷积协作信息传递后的特征同样经过一层线性层后得到
23、作为优选的技术方案，所述采取互斥损失、分类损失和正则化损失函数用于更新梯度传播，具体为：
24、互斥损失指激活向量之间的相似性损失lmut，通过优化该损失使激活向量之间的相似性变小，得到激活物体不同区域的k个互斥体特征；
25、分类损失与标准的全监督分类不同，由于零样本条件下，训练和测试时使用的样本类别存在差异。在训练时是可以获取训练样本对应的类别s，首先建立第i个点云样本特征和其对应类别属性特征向量之间的关系w，由一个固定权重的线性层代替点积相似性来表示二者的关系，再采用交叉熵损失进行训练：
26、
27、为避免由于训练时只有可见类样本导致模型预测偏向于可见类，导致不可见类分类精度低的问题，为不可见的类别样本构建软标签v：
28、
29、其中v的第j列表示可见类别i和不可见类别j的相似性，和分别为可见和不可见类别的语义属性特征矩阵(即类别属性特征向量的集合)，m和n分别表示可见类和不可见类别的数量，γ是加权系数；通过对上式简化为sylvester等式后使用bartels-stewart算法求解可得到则以有监督的方式使用伪软标签将知识从可见类转移到不可见类：
30、
31、此处的是指根据v所得到的和最相近的不可见类别属性向量，使网络以近似的方式提前学习不可见类别的相关信息，防止精度偏差；此外，可学习分类器权重也偏向于源可见类，受长尾问题策略的启发，提出将τ范数应用于分类器权重：
32、
33、最终，整体端到端训练的损失函数为：
34、ltotal＝lmut+μ1lseen+μ2lunseen+μ3lbalnorm；
35、其中μ1、μ2和μ3为损失函数超参数。
36、作为优选的技术方案，所述基于训练好的互斥体协作神经网络，对双分支特征融合，并与类别语义特征向量进行匹配，得到分类结果，具体为：
37、使用训练好的网络权重获取最终的分类得分，取其最大值的索引为分类的最终结果：
38、
39、其中，γ1和γ2为融合超参数，ys和yu表示可见类和不可见类别的类别集合。
40、第二方面，本发明提供了一种基于互斥体协作网络的三维点云零样本分类系统，应用于所述的基于互斥体协作网络的三维点云零样本分类方法，包括预处理模块、网络构建模块、网络训练模块以及分类模块；
41、所述预处理模块，用于数据集预处理，分割数据集为可见类别和不可见类别样本，并获取可见类别和不可见类别样本的语义特征向量；
42、所述网络构建模块，用于构建互斥体协作神经网络，所述互斥体协作神经网络包括点云编码器、互斥体学习模块、双分支学习模块和分类模块；所述点云编码器对三维点云进行特征提取；所述互斥体学习模块对提取的特征进行互斥部分激活，得到k个激活特征；所述双分支学习模块分别通过互斥、协作两个分支将互斥体特征融合嵌入；所述分类模块用于对三维点云进行分类；
43、所述网络训练模块，用于采取互斥损失、分类损失和正则化损失函数更新梯度传播，以端到端的方式训练互斥体协作神经网络；
44、所述分类模块，用于基于训练好的互斥体协作神经网络，对双分支特征融合，并与类别语义特征向量进行匹配，得到分类结果。
45、第三方面，本发明提供了一种电子设备，所述电子设备包括：
46、至少一个处理器；以及，
47、与所述至少一个处理器通信连接的存储器；其中，
48、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于互斥体协作网络的三维点云零样本分类方法。
49、第四方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于互斥体协作网络的三维点云零样本分类方法。
50、本发明与现有技术相比，具有如下优点和有益效果：
51、本发明提出的基于互斥体协作网络的三维点云零样本分类方法，设计了互斥体学习模块，通过聚集对象的排他性激活区域，可以更具鉴别力地区分对象特征，并将它们与其属性一起嵌入到更独立的空间中；设计了双分支学习模块，通过图建模在激活区域之间传播协作信息，从不同的互斥局部体获取空间和外观纹理关系；设计了不可见类别软标签、τ范数正则化损失，防止模型分类时过分偏向于可见类别的问题。为零样本三维点云分类提供了良好的解决方案。
1.基于互斥体协作网络的三维点云零样本分类方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于互斥体协作网络的三维点云零样本分类方法，其特征在于，所述可见类别和不可见类别样本之间是没有交集的，可见类别和不可见类别样本分别是指训练中模型可以接收的样本和不能接收的样本类别。
3.根据权利要求1所述基于互斥体协作网络的三维点云零样本分类方法，其特征在于，所述点云编码器对三维点云进行特征提取，具体为：
4.根据权利要求1所述基于互斥体协作网络的三维点云零样本分类方法，其特征在于，所述互斥体学习模块对提取的特征进行互斥部分激活，得到k个激活特征，具体为：
5.根据权利要求4所述基于互斥体协作网络的三维点云零样本分类方法，其特征在于，所述双分支学习模块具体为：
6.根据权利要求1所述基于互斥体协作网络的三维点云零样本分类方法，其特征在于，所述采取互斥损失、分类损失和正则化损失函数用于更新梯度传播，具体为：
7.根据权利要求1所述基于互斥体协作网络的三维点云零样本分类方法，其特征在于，所述基于训练好的互斥体协作神经网络，对双分支特征融合，并与类别语义特征向量进行匹配，得到分类结果，具体为：
8.基于互斥体协作网络的三维点云零样本分类系统，其特征在于，应用于权利要求1-7中任一项所述的基于互斥体协作网络的三维点云零样本分类方法，包括预处理模块、网络构建模块、网络训练模块以及分类模块；
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的基于互斥体协作网络的三维点云零样本分类方法。
