本发明属于电子商务营销智能决策，尤其涉及一种基于多模态学习的电子商务营销智能决策方法及系统。
背景技术：
1、回顾智慧企业、创新经济3t、创新驱动、智能经济、共享经济、协同创新等方面相关理论，梳理电子商务智能营销、智慧营销、智能定制、大数据营销、开放式创新等相关国内外研究，追踪深度学习、多模态学习、联邦学习等智能技术的最新动向，为本项目研究奠定理论与技术基础。
2、电子商务智能营销决策模式与发展需求
3、一是从内涵与特征，主体与方式，技术与行动，流程与场景，要素与系统五个方面研究电子商务智能营销的决策模式；构建电子商务智能营销的输入输出框架，前期的研究中我们已经构建了包括四大输入：基本信息、市场与定位、产品属性、图像信息四大类别，三大输出：开发建议、销量预测、满意度预测的智能营销框架，
4、二是摸清电子商务智能营销的发展现状与需求情况，通过调研掌握电子商务智能营销在智能决策模式五方面框架中方面所处的境况、发展的阶段、主要的做法，以及面临的问题；综合消费全球化、个性化，生产数字化、智能化，供应链在线化、敏捷化，价值链全球化、高端化，商业模式、经营业态创新化等趋势剖析电子商务智能营销的现实需求与未来趋势。
5、女装市场是电子商务销售中竞争激烈、消费差异巨大、变化快速的需求市场，连衣裙是电子商务平台女装类目中的第一大品类，选择连衣裙品类进行智能营销决策研究具有非常好的代表性。利用连衣裙类目形成的智能决策模型可以通过进一步的迁移学习，利用小规模数据实现向其他类目市场的覆盖和应用。从2020年到2023年连续采集了7000多款连衣裙的销售记录，项目计划构建超过10000款连衣裙销售大数据资料集，基本上覆盖了近5年来大部分电子商务上市的连衣裙款式，具有很强的代表性和基础性，为电子商务智能销售决策建立大数据库数据集。
6、通过上述分析，现有技术存在的问题及缺陷为：
7、电商图像展示、模特展示对消费者和品牌营销有非常重要的作用，智能学习研究还未关注到这一点。但是单单用电商主图与模特主图进行学习，又达不到良好的效果。
技术实现思路
1、针对现有技术存在的问题，本发明提供了一种基于多模态学习的电子商务营销智能决策方法。
2、本发明是这样实现的，一种基于多模态学习的电子商务营销智能决策方法，包括以下步骤：
3、步骤一，基于注意力机制的多模态特征融合：通过注意力机制从多模态数据(如文本、图像、视频、音频)中提取关键信息，进行特征融合，并构建基于注意力机制的多模态学习模型进行智能学习；
4、步骤二，基于张量积协同的多模态张量融合：将不同模态的数据转换为高阶张量形式，利用张量积操作进行融合，构建基于张量积协同的多模态学习模型进行智能学习；
5、步骤三，使用上述训练的模型对电子商务环境中的数据进行分析，提供基于数据驱动的营销决策支持。
6、本发明还提供了一种应用上述方法的电子商务营销系统，其特征在于，包括：
7、多模态数据处理模块，用于收集和预处理包括文本、图像、视频、音频在内的多模态数据；
8、注意力机制处理模块，用于实施基于注意力机制的多模态特征融合，并生成融合特征；
9、张量积协同处理模块，用于实施基于张量积协同的多模态张量融合，并生成融合张量；
10、智能学习模块，包括基于注意力机制的多模态学习模型和基于张量积协同的多模态学习模型，用于基于融合特征和融合张量进行智能学习；
11、决策支持模块，用于基于智能学习模块的分析结果，提供电子商务营销决策建议。
12、本发明还提供了一种基于多模态学习的电子商务营销智能决策方法包括：
13、步骤一，基于注意力机制的多模态特征融合；
14、注意力机制的作用就是从庞杂的信息中提取出关键的信息，下游任务再对这些关键信息加以利用，从而完成预期目标；对基于注意力机制形成的多模态融合特征进行智能学习，构建的基于注意力机制的多模态学习模型进行训练；
15、步骤二，基于张量积协同的多模态张量融合；
16、张量是向量和矩阵的高阶扩展，构成的维度就是张量的阶；张量融合网络能够有效地将不同模态间相互关联的交互信息融合在一起，能够最大程度保留原始数据信息，有助于提升多模态数据的识别预测精度；对基于张量积协同形成的多模态融合张量进行智能学习，构建的基于张量积协同的多模态学习模型进行训练。
17、进一步，所述基于注意力机制的多模态特征融合方法：
18、将包含大量特征基本信息、市场定位、产品属性等文本模态作为主要输入：
19、
20、将包含模特主图与产品主图的图像模态作为辅助输入：
21、
22、将主要输入t和辅助输入i投影到同一个共享向量空间中：
23、
24、
25、其中，和是权重训练参数，和是偏置训练参数，dr是共享向量空间的维度数；
26、利用tsvs和isvs计算注意力矩阵aij表示主要输入t的第i个内容与辅助输入有i的第j个内容之间的相关性：
27、
28、利用softmax函数处理注意力矩阵：
29、
30、然后得到基于注意力机制的辅助输入s：
31、s＝i·at；
32、最后，主要输入t和基于注意力机制的s在全连接层进行拼接，得到融合特征xf：
33、
34、形成特征融合输入：
35、xf＝{xf1,xf2,…,xfn}。
36、进一步，所述基于张量积协同的多模态张量融合方法：
37、文本信息输入为图像信息输入为
38、文本信息t和图像信息i的全局特征向量为u和v，建立模态内投影矩阵wu和wv，将两个特征向量编码到各自维度为du和dv的空间中，形成张量维度：
39、
40、
41、通过将u和v张量维度的乘积合并，构建基于张量积协同的多模态融合特征：
42、
43、其中，
44、形成张量融合输入：
45、xt＝{xt1,xt2,…,xtn}。
46、本发明提供的一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于多模态学习的电子商务营销智能决策方法的步骤。
47、本发明提供的一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于多模态学习的电子商务营销智能决策方法的步骤。
48、本发明提供的一种信息数据处理终端，所述信息数据处理终端用于实现所述基于多模态学习的电子商务营销智能决策方法。
49、本发明提供的一种基于多模态学习的电子商务营销智能决策系统，包括：
50、多模态数据处理模块，用于从多模态数据源中提取文本和图像信息；
51、注意力机制模块，用于实施基于注意力机制的多模态特征融合，并生成融合特征；
52、张量积协同处理模块，用于实施基于张量积协同的多模态张量融合，并生成融合张量；
53、智能学习模块，包括基于注意力机制和张量积协同的多模态学习模型，用于智能分析和学习；
54、决策支持模块，用于基于智能学习模块的分析结果，提供营销决策建议。
55、进一步，所述注意力机制模块具有能力将主要输入(文本模态)和辅助输入(图像模态)融合，通过计算权重训练参数和偏置训练参数，生成基于注意力机制的辅助输入，并在全连接层实现特征融合。
56、进一步，所述张量积协同处理模块能够将文本信息和图像信息的全局特征向量通过模态内投影矩阵编码到各自的空间中，进而构建基于张量积协同的多模态融合特征。
57、进一步，包括一个用户界面模块，用于展示多模态数据分析结果和营销决策建议，允许用户交互式地探索数据洞察，并调整营销策略。
58、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
59、第一、本发明在跨境电商智能销售领域引入多模态学习是全新的尝试，还没有类似的研究，构建跨境电商产品基本信息、市场定位、产品属性、图像信息多种模态的学习技术，能更好提升智能营销的精度。
60、输入涵盖了跨境电商连衣裙销售的大部分信息，包括基本信息、市场与定位、产品属性、图像信息四大类别38大特征。基本信息包括产品品类(categories)、品牌名称(brandname)、产品名称(dress name)、价格(prcie)、型号(modelnumber)、尺码(size)、颜色(color)、有无模特(model display)、有无视频广告(video display)、卖家所在地(seller address)、商品产地(origin)11项特征。市场与定位包括适合类型(fit type)、风格(style)、穿着场合(occasion)、适合年龄(age)、适合季节(season)、商家经营业务(business)、买家区域分布(buyer distribution)、销售平台(sales platform)8项特征。产品属性图案类型(pattern type)、面料类型(fabric type)、弹性(elasticity)、袖子款式(sleeve style)、轮廓(silhouette)、领型(neckline)、装饰(decoration)、连衣裙长度(dresses length)、材料(material)、闭合类型(closure type)、款式类型(type)、材料成分(material composition)、腰型(waistline)、袖长(sleeve length)、上市日期(releasedate)、剖面形状(profile type)、特别提示(reminder)17项特征。图像信息包括模特展示的服装主图(main model display)和产品展示的服装主图(mainproduct display)2项图像输入。
61、输出包括三类，y1是开发建议(recommendation)，是否开发和上架某类产品，取值范围为0(不开发)和1(开发)，y1通过与跨境电商卖家交流获得，是一种综合跨境电商经营管理经验的定性指标，是跨境电商商家根据自身行业经验知识的商业研判。y2是销量预测(sales volume)，是对某款商品未来一年销售量的预测(服装具有很强的流行性，选择预测未来一年的销量比较适合决策)，属于连续型的预测变量，y2通过商品销售的历史数据获得。y3是客户满意度预测(rating)，是预测跨境电商消费者对某款商品未来一年的总体满意度，属于连续型的预测变量，跨境电商平台设置客户评分为1-5分，y3通过商品评价的历史数据获得。整体上，输出既包括定性指标、也包括定量指标，既有管理经验的综合、也有客户主观的反映、还有客观销量的体现，既包括企业内部信息、也包括外部客户的感知，是具有实用性、全面性、易用性的输出体系。
62、第二，本发明对多模态学习与联邦学习协同嵌入的电子商务智能营销关键技术中的单模态学习(包括文本单模态和图像单模态)，多模态特征融合学习(包括特征融合+dnn、特征融合+lstm、特征融合+bilstm、特征融合+gru)，多模态特征融合学习(张量融合+dnn、张量融合+lstm、张量融合+bilstm、张量融合+gru)，联邦学习(最优学习模型+federatedaveraging)进行对比分析，剖析各类智能技术的训练精度、训练损失、测试精度、测试损失。
63、第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
64、(1)本发明的技术方案转化后的预期收益和商业价值为：
65、在智能营销方面让然有巨大的提升空间，主要表现为两个方面：一是流量型电商企业缺乏良好的产品积累与供应链情报，无法整合最佳供应链资源；二是无法精准满足市场消费需求，难以针对市场偏好与关键痛点规划设计。电商卖家准确预测消费者偏好，进行智能营销变得尤其重要，然而往往缺乏先进的工具来实现这一目标。以往的预测仅仅以gmv作为关键指标，或者以小样本数据进行回归分析已经远远不能满足需求。本研究结合电商销售大数据的多种属性与复杂特征，构建文本属性与图像属性相结合的多模态学习模型，能够更全面、更敏锐、更深入地洞察消费者行为、习惯、偏好、特征，迅速获取大量服装特征信息，让品牌方准确判断哪些产品适合开拓哪些市场，未来的销量可能是多少，消费者的满意度大概是怎样。有利于电商经营者做出正确的上架、选品与开发决策，能够实现估算销量和利润，分析和优化客户体验，为电商销售智能化发展赋能。
66、(2)本发明的技术方案填补了国内外业内技术空白：
67、1)多学科交叉融合
68、人工智能与电商营销的交叉融合对整个产业链升级具有重大意义：一是预判市场需求。电子商务具有全球化、复杂化、动态化特点，需要借助数字技术准确研判各地市场需求。二是预备供应能力。提前生产、预先备货、提前配置仓储，避免高峰期拥堵与高运价，避免产品缺货或滞销带来的损失。三是供求匹配前置。数字化、智能化技术正在电子商务的研发设计、生产制造、市场营销、网站运营、物流配送中迅速蔓延。这些技术的引入，能够有效消减跨境贸易中的冗余环节、明确跨境合作的权力与责任、打通贸易合作的阻隔，提升供需匹配效率。
69、2)多模态精准预测
70、在电商产品销售中，产品需求预测方面往往面临着更大的挑战，主要有三方面原因：一是电商竞争非常激烈的领域，创新与变化非常快；二是很多产品具有快时尚的特点，生命周期相对比较短；三是电商市场广阔，区域市场需求差异大。为了应对这一挑战，电商零售商不得不在其网站上放置大量虚拟产品图像及其特征信息，以便其客户了解时装产品并改善他们的购买体验。但是大量的配置商品急剧增加了卖家的成本。
71、第四，本发明提供的基于多模态学习的电子商务营销智能决策方法主要涉及到利用来自不同模态的数据源(如文本、图像、视频、音频等)的信息并将其融合，以做出更准确和有效的营销决策。下面详细介绍其两个关键步骤的技术含义和它们所带来的技术进步：
72、步骤一：基于注意力机制的多模态特征融合
73、注意力机制：这是一种使计算机模型能够识别出数据中最重要部分的技术。在多模态学习中，注意力机制可以识别出哪些特征是对决策过程最关键的，例如，在处理图像和文本时，模型可能会注重图像中的某个物体和相关描述的文本。
74、多模态融合特征：将来自不同模态的特征(如图像的视觉特征和文本的语义特征)结合起来，形成一个综合的特征表示，以便进行进一步的学习和分析。
75、技术进步：
76、提升决策精度：通过关注最关键的信息，模型可以更准确地理解和预测用户的行为和偏好，这有助于提高营销策略的有效性。
77、优化资源分配：关注机制可以减少不必要的计算，因为只有最重要的信息需要被处理，从而优化了计算资源。
78、步骤二：基于张量积协同的多模态张量融合
79、张量：在多维数据空间中，张量是向量和矩阵的高维推广。在多模态学习中，各个模态的数据可以表示为张量，张量的阶(或维度)对应于数据的不同方面。
80、张量积协同：这是一种数学运算，可以将不同模态的张量结合起来，形成一个新的、更高阶的张量。这种协同积可以捕捉不同模态数据间的深层次关联。
81、技术进步：
82、提高识别预测精度：通过张量积协同合并不同模态的信息，模型能够利用更丰富的数据特征，从而提高对用户行为的预测精度。
83、保留更多原始信息：在融合过程中，张量方法能够更好地保留原始数据的信息，这有助于避免在特征提取过程中丢失重要信息。
84、本发明提供的两个步骤共同构成了一个强大的多模态学习框架，可以显著提高电子商务营销的智能决策能力。通过对来自不同模态的信息进行更深入的分析，企业可以更有效地理解客户需求，制定个性化营销策略，从而提高转化率和客户满意度。
85、第五，本发明了两种不同的多模态学习方法，用于电子商务营销智能决策系统：一种是基于注意力机制的多模态特征融合方法，另一种是基于张量积协同的多模态张量融合方法。
86、个性化关注:注意力机制允许系统关注与文本描述最相关的图像部分，从而提供更个性化的特征表示。
87、信息增强:辅助信息(图像)通过注意力权重与主要信息(文本)结合，增强了特征的表达能力。
88、减少噪声:这种方法可以减少不相关信息的干扰，因为注意力机制会赋予相关信息更大的权重。
89、高阶交互:张量积能够捕捉文本和图像之间的高阶交互，可能揭示这两种模态间复杂的关联性。
90、富有表现力的特征:这种方法提供了一种富有表现力的方式来组合来自不同模态的信息，可以表达更复杂的模式。
91、灵活的表示:张量方法提供了一种灵活的方式来表示和整合不同类型的数据。
92、本发明提供的两种多模态学习方法的技术进步在于它们能够有效地结合不同种类的数据(文本和图像)，以提供更准确的预测和决策支持，这在电子商务营销领域至关重要。通过这些方法，智能决策系统能够更好地理解产品和用户需求，从而提供更加个性化和精准的营销策略。
1.一种基于多模态学习的电子商务营销智能决策方法，其特征在于，包括以下步骤：
2.如权利要求1所述基于多模态学习的电子商务营销智能决策方法，其特征在于，所述基于注意力机制的多模态特征融合方法：
3.如权利要求1所述基于多模态学习的电子商务营销智能决策方法，其特征在于，所述基于张量积协同的多模态张量融合方法：
4.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-3任意一项所述基于多模态学习的电子商务营销智能决策方法的步骤。
5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-3任意一项所述基于多模态学习的电子商务营销智能决策方法的步骤。
6.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求1-3任意一项所述基于多模态学习的电子商务营销智能决策方法。
7.一种基于多模态学习的电子商务营销智能决策系统，其特征在于，包括：
8.如权利要求1所述的系统，其特征在于，所述注意力机制模块具有能力将主要输入和辅助输入融合，通过计算权重训练参数和偏置训练参数，生成基于注意力机制的辅助输入，并在全连接层实现特征融合。
9.如权利要求1所述的系统，其特征在于，所述张量积协同处理模块能够将文本信息和图像信息的全局特征向量通过模态内投影矩阵编码到各自的空间中，进而构建基于张量积协同的多模态融合特征。
10.如权利要求1所述的系统，其特征在于，包括一个用户界面模块，用于展示多模态数据分析结果和营销决策建议，允许用户交互式地探索数据洞察，并调整营销策略。
