本公开涉及人工智能领域,更具体地讲,涉及一种基于多项式谱滤波器的自监督商品分类方法。
背景技术:
1、随着数字化商业和线上商品交易规模的快速增长趋势,商品分类成为了电子商务平台、零售业者和消费者必不可少的服务之一。同时,互联网和移动技术的普及使得用户的在线购物行为更加频繁和便捷,从而导致了海量的商品数据的产生和积累,这些海量数据不仅仅包括了商品的基本信息,还包括了用户的浏览、购买行为等丰富信息,为商品分类提供了丰富的数据基础。
2、海量的商品交易数据天然适合用图这一复杂的非欧结构来建模。商品之间的关联关系可以被表示为一个图,其中节点代表商品,边代表商品之间的关系,如购买行为、共现关系等。通过引入图神经网络来对商品进行图表示学习,可以更好地利用商品之间的关联信息,从而提高商品分类的准确性和鲁棒性。图神经网络能够学习到商品之间的复杂关系,并且能够适应不同商品之间的异构性和动态性,从而为商品分类提供更强大的建模能力。然而,现实中的图倾向于具有同配性或异配性。同配性指的是图中相连的节点拥有较为相似的特征与标签,例如论文引用网络同类论文更容易被引用,而异配性则为相邻节点倾向于具有不同的特征和标签,例如约会网络中男与女两个不同类别产生连边。对于商品交易网络,其同配和异配范式往往在局部共同存在,既有用户热衷于购买同一类商品的同配性也有不同商品搭配购买的异配性,现有的图卷积神经网络已被证明为谱域的低通滤波器从而不适用于商品网络这样存在异配范式的复杂图,因此具有谱域任意拟合能力的多项式滤波器被提出,包括单调基,切比雪夫基和伯恩斯坦基等,大大提高了图神经网络对异配图的建模表示能力。
3、另一方面,传统的商品分类方法往往难以满足大规模商品数据的处理需求。例如,手动标注成本高昂,而且难以满足快速变化的市场需求;基于人工设计特征的方法可能无法充分利用海量数据中蕴含的潜在信息。自监督学习作为一种无监督学习的范式,正因为可以充分利用数据本身的信息而备受关注。在大规模商品分类的场景下,自监督学习能够从海量数据中挖掘出隐含的特征和模式,而无需显式的标签信息。这种方式不仅可以降低人工标注的成本,还能够适应快速变化的市场环境和多样化的商品类型,从而提高商品分类的准确性和效率。
4、现有提高商品分类效率的技术主要为mvgrl技术,属于多视角图对比学习技术。具体来说,在自监督商品分类场景下,对于给定的商品交易网络g,节点表示商品,每个节点具有刻画其自身属性特征的向量表示,商品之间的关联关系(如同时购买)定义为g中的连边,多视角对比学习技术首先基于扩散的数据增强技术(如个性化随机游走扩散、热核扩散等)来生成不同视图g',并将原图g和增强视图g'分别输入一个共享的图卷积神经网络编码器来生成节点表征和全图表征以构建互信息最大化(infomax)优化目标来驱动编码器进行自监督学习。互信息最大化优化目标旨在最大化不同视图表征的互信息来促进自监督框架学得节点的平滑表征,着力在最大化不同视图之间的相似性的同时捕捉原图与增强视图之间的内在不变性,从而实现更加鲁棒的商品表征并促进下游分类任务。
5、现有技术的缺点为:(1)数据增强的选择高度依赖先验知识。现有技术在数据增强的选择上依赖图扩散,使得生成的增强视图趋向稠密,这不利于多视图对比学习的生成视图丰富性。(2)现有技术的自监督优化目标依赖同配性假设。技术一的自监督优化目标基于不同视图间的互信息最大化,旨在保留视图间的相似性并生成平滑表征,这天然适用于诸如引文网络这样的同配性网络,然而对于可能普遍存在异配范式的商品交易网络,基于现有自监督优化目标的方法将无法提取到促进下游商品分类任务的商品表征。(3)从谱域视角,现有技术使用的图卷积神经网络编码器具有低通滤波属性,在消息传播过程中难以保存有效的异配信息,不具备刻画适用于异配图场景的高通或复杂滤波函数的表达能力。(4)方法的时间空间开销较大。对比学习生成的稠密视图其每次生成节点表征和全局表征的前向传播过程都需要o(n2)的时间复杂度,且存储生成的视图也需要o(n2)的空间开销,因此在面对实际场景中规模较大的商品网络(超过105个商品)时现有方法无论是从gpu显存或者计算效率而言均不适用。
6、本发明旨在自监督商品分类任务上克服现有技术的缺陷,结合谱域多项式滤波器的相关优势增强模型在建模大规模异配商品交易网络的表达能力,生成促进下游分类任务的商品表征。
7、具体地,本发明可以避免现有技术对数据增强的依赖,即无需预先精心设计复杂的数据增强,而是考虑利用经过限制的多项式滤波器在自监督学习中自动生成商品的低通/高通视图从而开展对比学习,因此在无需特定下游任务先验知识的前提下保证了其生成视图的丰富性,使得自监督学习生成的商品表征尽可能地去除冗余信息,保留商品本身属性及商品间的交互关系的有用信息,同时具备下游任务迁移性。此外,考虑到实际商品交易网络中既存在相同类型的商品(如客户一次购买多本书籍)也存在不同类型商品(如客户的一次购买记录同时包含食品类和化妆品类)被同时购买,本方法应当具备对同配性和异配性的商品交易网络的通用表示能力,以适配现实的商品网络的多样性和复杂性。同时,为了建模电商交易平台的海量商品规模,本发明应当具备较低的算法时间复杂度和空间开销。因此,本发明旨在将自监督图对比学习范式与多项式谱滤波器技术结合起来,提出一种创新的商品分类方法。该方法不仅能够充分利用大规模商品数据中的丰富信息,还能够有效地应对市场变化和数据多样性带来的挑战,从而实现更准确、高效的商品分类。
技术实现思路
1、本公开的实施例的目的在于提供一种基于多项式谱滤波器的自监督商品分类方法。
2、在一个总的方面,提供一种基于多项式谱滤波器的自监督商品分类方法,包括步骤s1-s9。
3、s1,构建商品购买网络g=(v,e)来建模商品和商品交易记录数据,其中v表示商品节点集合,e表示交易连边集合,节点表示不同的商品,边表示两个不同的商品被同时购买或销售,g的结构信息用邻接矩阵a来表示,若商品i和j在交易历史数据库中被同时购买过,则定义图g中商品i,j有连边,邻接矩阵a中商品i,j对应的位置aij=1,反之则商品i和j在图g中没有连边,邻接矩阵a中对应位置aij=0。注意上述利用商品共同购买关系构建的g中均为无向无权边;
4、s2,构建用于表示每个商品节点自身属性的特征向量,为每个商品生成一个维度为d的实值向量表征xi,对于n个商品,得到一个n乘d维的表示商品属性的特征矩阵x,其中每一行表示一件商品的属性向量表示,每一列表示不同维度的属性信息;
5、s3,初始化多项式滤波器和特征降维层的参数作为自监督学习编码器以生成适用于下游分类任务商品表征,同时初始化组合系数α和β,构造初始化的低通/高通滤波器;
6、s4,随机打乱商品节点的商品属性的特征矩阵x,以生成用于对比学习的负样本,即商品被腐蚀的表征
7、s5,利用所述初始化的低通/高通滤波器构造低通/高通滤波器;
8、s6,利用构造的低通/高通滤波器结合用于固定维度的神经网络分别生成商品节点的低通和高通表征zl,zh,,以及被腐蚀后的低通/高通表征
9、s7,利用s6生成的低通/高通商品表征及其腐蚀表征,构造自监督损失函数并通过梯度下降更新低通/高通滤波器中的参数、用于特征变换的神经网络中的参数和组合系数α,β;
10、s8,重复步骤s4至s7进行模型优化和参数更新,直至自监督优化损失收敛或算法达到预设的最大迭代步数则停止模型参数更新,并将最终的模型参数存入磁盘中;
11、s9,从磁盘加载模型参数并生成最终的商品表征z,用于训练下游商品分类器,最终基于打分函数输出每个商品所属的类别。
12、所述s3的初始化组合系数的策略具体为,设置组合系数初值α,β>0且α+β=1。
13、所述s3中构造初始化的低通/高通滤波器的具体过程为:构造切比雪夫多项式滤波器,对于k阶传播,其有k+1个切比雪夫插值点定义为γi,i=0,…,k,相应地分别对应于高通/低通两组滤波器插值点为i=0,…,k,对于i=0,考虑初始化对于i=1,…,k,则初始化并通过递推计算高通滤波器插值点和低通滤波器插值点
14、最后对特征变换的多层感知机网络采用默认的xavier随机初始化策略。
15、所述s4所述商品被腐蚀的表征的生成策略,为考虑对商品属性矩阵x行打乱,列维度保持不变。
16、所述s5中分别构造出低通滤波器和高通滤波器的具体过程为:s51转换切比雪夫插值系数、s52计算各阶切比雪夫多项式、s53完成切比雪夫插值构造低通/高通滤波器三个步骤;
17、s51,转换s3的可学习滤波参数为低通/高通多项式滤波器的切比雪夫插值系数
18、对于k阶图传播,多项式滤波器的待学习参数个数为k+1个,表示为γi,i=0,…,k,并通过上述k+1个参数来直接拟合图滤波器函数h(λ),在使用步骤s3中所述的构造初始化的低通/高通滤波器可学习参数的策略后,直接通过切比雪夫插值计算得出多项式低通/高通滤波器各阶系数为:
19、
20、其中xj代表切比雪夫点,tk(xj)代表相应切比雪夫插值点对应的插值多项式函数值,并且将tk(xj)预先一次迭代计算并存储下来,在后续计算低通/高通切比雪夫系数的过程中被重复调用;
21、s52,计算归一化拉普拉斯矩阵对应的各阶切比雪夫多项式并存储到磁盘中;
22、使用对角度矩阵d与邻接矩阵a计算归一化的邻接矩阵此时归一化的拉普拉斯矩阵定义为记实对称矩阵的特征值λ=diag(λ1,λ2,…,λn),则有每一个特征值λ∈[0,2],对角度矩阵是对角线元素为对应商品节点的度的对角矩阵,商品节点的度为该商品在所有交易记录中被与其他产品一起购买的总次数,反映在矩阵中即为对称邻阶矩阵a对应行或列的元素求和:
23、对归一化的拉普拉斯进行缩放处理使得其特征值范围处于[-1,1],其中λmax表示归一化拉普拉斯矩阵的最大特征值,i表示单位矩阵,容易有的特征值属于[-1,1];
24、利用切比雪夫迭代式计算归一化的拉普拉斯矩阵经过k阶图传播后的结果,即其中x为商品的自身特征矩阵,切比雪夫迭代式可以表述为:
25、s53,结合步骤s51中切比雪夫插值的系数和s52中迭代计算切比雪夫k阶图传播后的结果构造相应的低通/高通滤波器:
26、所述s6中生成商品节点的低通和高通表征以及被腐蚀后的低通/高通表征的具体操作为:
27、基于步骤s5构造出的低通/高通多项式滤波器,分别对s2中构造的商品的原始属性矩阵和s4中构造的商品腐蚀表征矩阵进行相应的低通/高通滤波来生成正样本表征zl,zh和负样本表征完整的编码器模块需要在滤波器后接一个多层感知机神经网络来完成对输出表征的特征降维,即:z=fθ(z),其中fθ(·)表示包含可学习参数θ的多层感知机神经网络,z可以代指zl,zh,中的任意项。
28、所述s7中所述的构造自监督损失函数是基于s6生成的低通/高通商品表征及其腐蚀表征完成的,具体可细分为以下三个操作:
29、步骤s71,对s6生成的商品低通表征zl和高通表征zh进行线性组合,其中线性组合加权系数α,β>0且α+β=1,生成商品表征z=αzl+βzh;
30、步骤s72,构造全局表征其中mean(·)表示计算所有商品表征的平均向量;
31、步骤s73,基于鉴别器定义二元交叉熵优化目标:
32、
33、其中鉴别器为权重矩阵,σ(·)表示具有区间(0,1)限制的sigmoid非线性激活函数,即针对损失函数进一步使用梯度的反向传播算法结合adam优化器来训练模型可学习的参数,包括多项式滤波器系数组合系数α,β以及用于特征降维的多层感知机神经网络权重θ。
34、所述s9的生成最终的商品表征z用于下游分类任务首先需要构造和s6中所述相同的编码器架构,并从磁盘中加载s8结束后存储的自监督优化训练后的模型参数,之后,将商品属性矩阵x输入低通/高通多项式滤波器后再经由多层感知机神经网络进行特征降维固定输出维度,结合组合系数α,β得到最终的商品表征,最后基于固定的商品表征z训练下游商品分类器,并使用指数归一化打分函数计算最终商品类别的分数,输出每个商品的最大分数对应的类别作为商品的预测类别。
35、本发明实施例可以被广泛应用于电商平台商品交易网络的自监督商品分类任务中,着力解决现有技术在建模异配性商品交易网络、运行速度、可扩展性和下游商品分类精度上普遍存在的问题,具体如下:
36、(1)本发明实现了自监督图表示学习在同/异配商品交易网络上的泛化。现有技术在自监督优化目标传统方法依赖同配性假设,同时其模型编码器也趋向于具有低通性,这使得现有技术天然学得适用于同配网络的平滑表征。一旦将其应用于存在大量异配范式的商品交易网络中,经过现有自监督训练得到的模型编码器输出的商品表征在下游分类任务上的准确率将大幅下降。本发明克服了传统方法的上述局限,可以在不同同配性的图上自监督学习得到有利于下游分类的高质量表征。
37、(2)本发明涉及的自监督学习方法具有较低的算法时间复杂度与空间开销。一方面,本发明充分利用了多项式滤波器的预处理特性,可以提前线性时间预计算并存储多项式基,大大加速了自监督训练时间和节约存储空间,另一方面,算法涉及的多项式滤波过程的计算时间复杂度和空间开销均与图的节点数和边数呈线性关系。相比需要节点数平方级别复杂度的现有技术,本发明在计算效率和可扩展性上有了较大的提升与保障。
38、(3)本发明保证了无需商品标签信息的高质量商品表征学习。具体来说,其涉及的自监督学习过程解耦了多项式滤波器的低通和高通通道,限制其仅能表示低通/高通滤波函数,并基于此生成相应低通/高通视图并开展对比学习。上述流程完全不涉及成本高昂的商品标签信息,而是挖掘海量商品网络内部的监督信号,从而在实际应用中大大降低下游商品分类任务的成本。
1.一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,包括步骤s1-s9:
2.如权利要求1所述的一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,所述s3的初始化组合系数的策略具体为,设置组合系数初值α,β>0且α+β=1。
3.如权利要求2所述的一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,所述s3中构造初始化的低通/高通滤波器的具体过程为:构造切比雪夫多项式滤波器,对于k阶传播,其有k+1个切比雪夫插值点定义为γi,i=0,…,k,相应地分别对应于高通/低通两组滤波器插值点为对于i=0,考虑初始化对于i=1,…,k,则初始化并通过递推计算高通滤波器插值点和低通滤波器插值点
4.如权利要求3所述的一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,所述s4所述商品被腐蚀的表征的生成策略,为考虑对商品属性矩阵x行打乱,列维度保持不变。
5.如权利要求4所述的一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,所述s5中分别构造出低通滤波器和高通滤波器的具体过程为:s51转换切比雪夫插值系数、s52计算各阶切比雪夫多项式、s53完成切比雪夫插值构造低通/高通滤波器三个步骤;
6.如权利要求5所述的一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,所述s6中生成商品节点的低通和高通表征以及被腐蚀后的低通/高通表征的具体操作为:
7.如权利要求6所述的一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,所述s7中所述的构造自监督损失函数是基于s6生成的低通/高通商品表征及其腐蚀表征完成的,具体可细分为以下三个操作:
8.如权利要求7所述的一种基于多项式谱滤波器的自监督商品分类方法,其特征在于,所述s9的生成最终的商品表征z用于下游分类任务首先需要构造和s6中所述相同的编码器架构,并从磁盘中加载s8结束后存储的自监督优化训练后的模型参数,之后,将商品属性矩阵x输入低通/高通多项式滤波器后再经由多层感知机神经网络进行特征降维固定输出维度,结合组合系数α,β得到最终的商品表征,最后基于固定的商品表征z训练下游商品分类器,并使用指数归一化打分函数计算最终商品类别的分数,输出每个商品的最大分数对应的类别作为商品的预测类别。
