本发明涉及网络表示学习,尤其涉及一种基于注意力机制的网络嵌入方法。
背景技术:
1、网络表示学习是网络分析任务的基础,对于挖掘和分析真实网络数据具有重大意义。
2、为了区分不同邻居节点对目标节点的贡献,gat首先提出将注意力机制与图神经网络结合,在图神经网络中使用自注意力机制,根据注意力系数去聚合邻居节点信息,然后将信息传播到下一层。但是gat只计算目标节点与其周围邻居节点之间的注意力,因此难以聚合到高阶邻居节点信息,并且对gat学习到的信息不了解。针对这些问题,spagan根据最短路径计算中心节点与其高阶邻居之间的注意力分数,但是没有考虑到节点特征信息相似度,simp-gcn通过聚集和转换邻域内的节点特征来提取有效的节点表示。但是它是基于图卷积思想。结构学习方法slgat通过整合节点特征和全局结构特征生成新的邻接矩阵,使用图注意力机制,可以聚合到高阶邻居特征,但是没有考虑新邻接矩阵中噪声边问题。
技术实现思路
1、本发明旨在至少解决相关技术中存在的技术问题之一。为此,本发明提供一种基于注意力机制的网络嵌入方法。
2、本发明提供一种基于注意力机制的网络嵌入方法,包括:
3、s1:基于相关性强度与相似度度量法,计算特征图中节点间的相似度,获得图结构矩阵;
4、s2:基于图结构矩阵建立图神经网络,通过所述图神经网络计算特征图中节点的原始注意力系数及点积注意力系数;
5、s3:将所述原始注意力系数及所述点积注意力系数相乘,获得混合注意力系数;
6、s4:基于所述混合注意力系数,对节点间存在边的概率进行预测,获得预测概率,并通过所述预测概率进行图神经网络的自监督注意力引导;
7、s5:选取包括正边及负采样边的训练样本,建立包括节点标签交叉熵损失、正则化损失及自监督注意力损失的优化目标,对图神经网络进行训练,获得嵌入网络;
8、s6:通过所述嵌入网络对待嵌入的特征图进行处理。
9、根据本发明提供的一种基于注意力机制的网络嵌入方法,步骤s1进一步包括:
10、s11:通过相似度度量法对特征图中的节点进行相似度度量,获得第一相似度矩阵;
11、s12:基于所述第一相似度矩阵,选取第一阈值参数学习稀疏图结构,获得第二相似度矩阵;
12、s13:以特征图中节点为根节点进行随机游走,并遍历所有节点,根据相同游走路径中节点出现的频率,计算获得第一相关性强度矩阵;
13、s14:基于所述第一相关性强度矩阵,选取第二阈值参数学习稀疏图结构,获得第二相关性强度矩阵;
14、s15:融合所述第二相似度矩阵与所述第二相关性强度矩阵,获得图结构矩阵。
15、根据本发明提供的一种基于注意力机制的网络嵌入方法,步骤s15还包括:
16、s151:当所述图结构矩阵对应的特征图具有图结构时,引入原始邻接矩阵,并对所述原始邻接矩阵进行归一化处理,获得归一化邻接矩阵;
17、s152:将所述归一化邻接矩阵与图结构矩阵融合,获得终图结构。
18、根据本发明提供的一种基于注意力机制的网络嵌入方法,步骤s1中,所述相似度度量法为余弦相似度方法。
19、根据本发明提供的一种基于注意力机制的网络嵌入方法,步骤s2还包括:
20、s21:通过softmax函数,对所述原始注意力系数进行归一化操作。
21、根据本发明提供的一种基于注意力机制的网络嵌入方法,步骤s2还包括:
22、s22:在计算获得所述原始注意力系数时,采用多头注意力机制。
23、根据本发明提供的一种基于注意力机制的网络嵌入方法,步骤s5中的所述自监督注意力损失的表达式为:
24、
25、其中,为第层网络的自监督注意力,为训练样本中的正边集,为训练样本中的负采样边集,表示第个节点,表示第个节点,为指示函数,为第层网络中第个节点与第个节点之间存在边的概率。
26、根据本发明提供的一种基于注意力机制的网络嵌入方法,步骤s5中的所述优化目标的表达式为:
27、
28、其中,为优化目标函数,为训练样本总数,为第个中目标类别对应的概率值,为自监督注意力损失的权重系数,为网络层总数,为l2正则化损失的权重系数,为正则化参数。
29、本发明提供的一种基于注意力机制的网络嵌入方法,首先提出了一种结构学习方法,整合节点属性特征和全局结构特征,得到全局图结构矩阵,当在新图上应用图注意力网络,实现聚合高阶邻居节点,扩大模型感受野,不仅利用了节点的属性信息,还充分考虑了图的拓扑结构信息,从而提高了图表示学习的性能;另外还设置一个链接预测辅助任务,引导注意力机制学习,然后利用注意力系数对节点特征进行加权聚合,得到最终的节点嵌入表示,使用新颖的注意力机制计算注意力系数,同时判断节点间的边是否存在,在区分正确和错误连接边时,可以学习到更具表现力的节点表示,并降低图中噪声的干扰,提升了模型的表达能力和鲁棒性。
30、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种基于注意力机制的网络嵌入方法,其特征在于,包括:
2.根据权利要求1所述的一种基于注意力机制的网络嵌入方法,其特征在于,步骤s1进一步包括:
3.根据权利要求2所述的一种基于注意力机制的网络嵌入方法,其特征在于,步骤s15还包括:
4.根据权利要求1所述的一种基于注意力机制的网络嵌入方法,其特征在于,步骤s1中,所述相似度度量法为余弦相似度方法。
5.根据权利要求1所述的一种基于注意力机制的网络嵌入方法,其特征在于,步骤s2还包括:
6.根据权利要求1所述的一种基于注意力机制的网络嵌入方法,其特征在于,步骤s2还包括:
7.根据权利要求1所述的一种基于注意力机制的网络嵌入方法,其特征在于,步骤s5中的所述自监督注意力损失的表达式为:
8.根据权利要求7所述的一种基于注意力机制的网络嵌入方法,其特征在于,步骤s5中的所述优化目标的表达式为:
