本发明属于医学人工智能领域，尤其是涉及一种基于多模态数据融合的儿童哮喘中医辅助诊断系统。
背景技术：
1、支气管哮喘(简称哮喘)，是全球最常见的慢性呼吸系统疾病之一，严重威胁人类健康。哮喘作为儿童期最常见的慢性呼吸系统疾病，若诊治不及时，随病程的延长可产生气道不可逆性狭窄和气道重塑，增加哮喘儿童成年后发生慢性阻塞性肺疾病的风险，因此早期防治至关重要。
2、近年来国内的研究主要以现代医学为主，但需要长期使用，且具有一定的副作用和不良反应，缺乏有效的根治哮喘的药物。而中医药在治疗哮喘方面不仅疗效确切，还具有不良反应小、安全性高等优势。但是由于中医防治疾病基于辨证，辨证的准确性和治疗的有效性严重依赖中医主观判断和经验积累，不同年龄层次和认知水平的中医师对患儿的诊治水平呈现出很大参差性和差异性，客观上导致中医对患儿诊断的辨证分型不清、疗效不稳的情况出现。因此，运用新的技术实现儿童哮喘中医辅助诊断和治疗，具有重要的临床价值。
3、随着互联网、大数据等技术的发展，人工智能(artificial intelligence，ai)在医疗领域中的应用日益增多，将ai诊疗技术应用于临床当中，不仅有效地提升了诊断的准确性，还能降低误诊漏诊的发生率。如公布号为cn113707299a的中国专利文献公开了一种基于问诊会话的辅助诊断方法；公布号为cn113592027a的中国专利文献公开了一种基于迁移学习的医疗图像分类方法。
4、ai高效的数据处理方式为研发中医辅助系统提供了技术支撑，在中医辨证分型方面的应用也更加广泛。然而，目前并没有应用深度学习技术实现儿童哮喘中医辅助诊断的相关系统或方法。
技术实现思路
1、本发明提供了一种基于多模态数据融合的儿童哮喘中医辅助诊断系统，可模拟中医的诊断过程，实现高精度的儿童哮喘中医辅助诊断，有利于后续精准治疗。
2、一种基于多模态数据融合的儿童哮喘中医辅助诊断系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，所述的计算机存储器中存储有训练好的分类模型；所述计算机处理器执行所述计算机程序时实现以下步骤：
3、将待分类的哮喘患儿的临床信息、问诊信息、望诊图像输入训练好的分类模型中，预测得到寒性哮喘证、热性哮喘证和外寒内热证的三分类结果；
4、具体的，所述的分类模型采用多模态数据作为输入，包含临床信息特征提取模块、问诊信息特征提取模块、望诊图像特征提取模块、中医辨证分型预测模块；
5、临床信息特征提取模块中，对预处理后的临床信息进行特征筛选，得到一维特征矩阵，称为临床信息特征fcli；
6、问诊信息特征提取模块中，从问诊信息中提取并总结关键医学信息，然后利用定义好的文本正则化对关键医学信息进行结构化，筛选得到问诊信息特征finq；
7、望诊图像特征提取模块中，采用resnet50模型从预处理后的舌头图像中提取图像特征，并将得到的二维特征矩阵拉平为一维特征矩阵，称为望诊图像特征fimg；
8、中医辨证分型预测模块中，将筛选的临床信息特征fcli、问诊信息特征finq和望诊图像特征fimg依次输入到正则层，然后将正则层的输出输入到共享权重的第一个多头自注意力层，再然后输入到包含望诊专家、临床专家、问诊专家三个模块的混合模态专家层；三者的输出输入到第二个多头自注意力层，最后输入到综合专家层，通过此层得到最终的辨证分型结果。临床信息的预处理包括以下两步：
9、第一步，对文本数据进行离散化处理，得到数值型或布尔型数据；
10、第二步，对数值型数据进行归一化，减少极端案例的特殊值对于模型训练的影响，归一化公式如下：
11、
12、其中，x代表这一批数据，x_new表示归一化后的新值。
13、望诊图像的预处理包括以下三步：
14、第一步，对拍摄的脸部图像进行直方图均衡化，从而使图像的亮度更加均匀，避免不同光照对于图像的影响；
15、第二步，在舌部区域给出初始种子点，使用区域生长方法实现对舌头的分割；
16、第三步，从原图中裁剪舌头区域，减少非相关区域对后续模型的影响，并将裁剪后的舌头图像缩放到统一尺寸128*128*3。
17、临床信息处理模块中，选用lasso方法进行特征筛选，它融合所有特征建立多元判断模型，然后通过构造一个惩罚函数，将特征的权重进行压缩，进而去除权重小于0.001的特征，保留权重在阈值以上、对结果影响较大的特征，公式如下：
18、
19、其中，前半部分为m个数据在多元判断模型的预测结果与实际分类标签的差异，后半部分是对k个特征的权重w的正则化，通过对整个公式值的缩小来减小后半部分，从而压缩各特征的权重，达到特征筛选的目的；最后保留下具有权重在阈值以上的关键因素，这些关键因素组成了一维特征矩阵fcli。
20、问诊信息特征提取模块中，首先采用transformer模型从问诊信息中提取并总结关键医学信息，然后利用定义好的文本正则化对关键医学信息进行结构化，具体方法是将其转换为可转储为表格的矩阵信息，每一列是一个特征，每一列具体的值为离散化的数值；
21、再采用卡方检验对离散化的问诊信息进行关键因素筛选，当p值小于0.05时，该因素被认为与预测目标强相关并被保留下来，即为问诊信息特征finq。
22、望诊图像特征提取模块中，resnet50网络共分为六个部分，第一部分大步长卷积层，卷积核大小为7*7；第二至第五部分依次包含3、4、6、3个相同的残差模块；最后一部分是平均池化层加全连接层进行分类预测。
23、每个残差模块包含三个卷积层，最终的输出与最初的输入拼接后，作为整个模块的输出，具体公式如下：
24、x'＝relu(concat(x,f(x))
25、其中，x、x’表示输入与输出，concat表示特征拼接，f(x)表示残差模块的卷积操作部分，relu分别表示非线性激活函数，公式如下：
26、f(x)＝max(0,x)
27、在卷积操作部分，总面积层用来提取图像特征，正则层通过均值与方差来归一化输入的批数据，减少极端案例对于模型的影响，公式如下：
28、
29、其中，x,分别表示批次输入和批次输入的平均值，α,β分别表示可调节参数，var表示批次输入的均方差，ε是极小数，避免除数为0。
30、中医辨证分型预测模块中，在两个多头自注意力层，每个特征都会生成三个转换矩阵q、k、v，并通过彼此之间q、k的匹配来确定各特征的关联性和对结果的判断，也就是自注意力机制，公式如下：
31、
32、
33、multihead(q,k,v)＝concat(head1,...,headh)wo
34、其中，softmax是归一化指数函数，用来将输出归一到总值为1，d表示矩阵的长度，wo表示各自注意力的权重。
35、对分类模型进行训练时，首先将混合模态专家层的临床专家、问诊专家两模块进行冻结，然后只输入望诊影像特征fimg,然后更新权重共享的第一个多头自注意力层和望诊专家模块；
36、接着冻结混合模态专家层的望诊专家、问诊专家两模块，以及权重共享的第一个多头自注意力层，只采用临床信息特征fcli更新临床专家模块；
37、然后冻结混合模态专家层的望诊专家、临床专家两模块，以及权重共享的第一个多头自注意力层，只采用问诊信息特征finq更新问诊专家模块；
38、最后只冻结权重共享的第一个多头自注意力层，将望诊影像特征fimg、临床信息特征fcli、问诊信息特征finq联合输入，用以训练综合专家。
39、对分类模型进行训练时，将训练集按照8个案例一批，分为若干个批次进行训练；分类模型通过损失函数对权重进行学习，在多次迭代后，得到最后的预测结果；每次迭代时，都在上一次预测的基础上进行调整，迭代的结果由上次预测结果和此次预测结果共同决定，具体公式如下：
40、
41、s∈{cli,inq,img}
42、式中，表示基于s特征的第i次预测分类结果，s特征分别表示临床特征(cli)、问诊特征(inq)和望诊特征(img)。第i次迭代模型最终分类结果由第i-1次最终分类结果和第i次预测结果共同决定；
43、全部案例训练结束后，将分类模型在验证集上进行验证，根据验证结果优化模型，此过程为一轮训练，经过若干轮训练后结束训练。
44、与现有技术相比，本发明具有以下有益效果：
45、1、本发明通过不同的子处理单元分别从儿童哮喘患者的临床信息、问诊信息、望诊图像提取关键特征，模拟中医的辨证过程，实现高精度的儿童哮喘中医辅助诊断，有利于后续精准治疗。
46、2、本发明中使用混合专家transformer模型(mixture-of-modality-experts,mome)实现了对多模态数据的联合学习。混合专家transformer模型首先采用共享权重的多头自注意力层将对每个特征进行相互查询，保证了各模态特征的交叉学习。然后分别构建基于不同模态数据的专家模型，最后再采用多头自注意力层纳入各专家模型的结果，由综合专家生成最后的辨证分型结果。这种模型即保证了各模态数据的有效利用，又实现了各模态数据的混合学习。
47、3、本发明中使用混合专家transformer模型输入是不固定的，由于临床信息与问诊信息提取的特征数量并不固定，一般的深度学习模型需要保证固定尺寸的输入，而多头自注意力层具有不定长输入的特点，因而可以有效连接不同模态提取的特征，也为后续模型关于纳入更多模态的数据提供了可能。
1.一种基于多模态数据融合的儿童哮喘中医辅助诊断系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，其特征在于，所述的计算机存储器中存储有训练好的分类模型；所述计算机处理器执行所述计算机程序时实现以下步骤：
2.根据权利要求1所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，临床信息的预处理包括以下两步：
3.根据权利要求1所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，望诊图像的预处理包括以下三步：
4.根据权利要求1所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，临床信息处理模块中，选用lasso方法进行特征筛选，它融合所有特征建立多元判断模型，然后通过构造一个惩罚函数，将特征的权重进行压缩，进而去除权重小于0.001的特征，保留权重在阈值以上、对结果影响较大的特征，公式如下：
5.根据权利要求1所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，问诊信息特征提取模块中，首先采用transformer模型从问诊信息中提取并总结关键医学信息，然后利用定义好的文本正则化对关键医学信息进行结构化，具体方法是将其转换为可转储为表格的矩阵信息，每一列是一个特征，每一列具体的值为离散化的数值；
6.根据权利要求1所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，望诊图像特征提取模块中，resnet50网络共分为六个部分，第一部分大步长卷积层，卷积核大小为7*7；第二至第五部分依次包含3、4、6、3个相同的残差模块；最后一部分是平均池化层加全连接层进行分类预测。
7.根据权利要求6所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，每个残差模块包含三个卷积层，最终的输出与最初的输入拼接后，作为整个模块的输出，具体公式如下：
8.根据权利要求1所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，中医辨证分型预测模块中，在两个多头自注意力层，每个特征都会生成三个转换矩阵q、k、v，并通过彼此之间q、k的匹配来确定各特征的关联性和对结果的判断，也就是自注意力机制，公式如下：
9.根据权利要求1所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，对分类模型进行训练时，首先将混合模态专家层的临床专家、问诊专家两模块进行冻结，然后只输入望诊影像特征fimg,然后更新权重共享的第一个多头自注意力层和望诊专家模块；
10.根据权利要求9所述的基于多模态数据融合的儿童哮喘中医辅助诊断系统，其特征在于，对分类模型进行训练时，将训练集按照8个案例一批，分为若干个批次进行训练；分类模型通过损失函数对权重进行学习，在多次迭代后，得到最后的预测结果；每次迭代时，都在上一次预测的基础上进行调整，迭代的结果由上次预测结果和此次预测结果共同决定，具体公式如下：
