本技术涉及计算机系统，尤其涉及甲状腺滤泡分类模型训练装置、分类装置和设备。
背景技术：
1、甲状腺滤泡癌是第二常见的甲状腺癌，需积的干预。但无论是影像学检查还是穿刺活检，滤泡癌与良性的腺瘤均难以区分，均考虑为甲状腺滤泡性肿瘤。甲状腺滤泡癌目前只能通过手术确诊，而很大一部分的滤泡性肿瘤患者术后可能被确诊为良性的腺瘤。若能够在术前对甲状腺滤泡进行分类，则能够有助于及时筛查出需要手术的患者并确定手术范围，减少不必要的手术。
2、目前，临床上缺少有效的甲状腺滤泡术前分类方法，现有的甲状腺结节良恶性评估方法对滤泡性肿瘤价值有限。而近年来，基于深度学习的甲状腺结节分类技术蓬勃发展，但现有的研究基本都是基于甲状腺的超声影像进行的单模态模型研究，可能无法包含所有的疾病征象，潜在的信息缺失问题可能会显著影响深度学习模型的性能。考虑到甲状腺滤泡癌和甲状腺滤泡性腺瘤在超声影像上表现极其类似，单靠超声影像完成二者的分类是困难的。
3、因此，科研人员与放射科医生亟待采用新的技术来实现甲状腺滤泡癌的术前影像学分类，辅助临床医师的诊疗决策。
技术实现思路
1、鉴于此，本技术实施例提供了甲状腺滤泡分类模型训练装置、分类装置和设备，以消除或改善现有技术中存在的一个或更多个缺陷。
2、本技术的一个方面提供了一种甲状腺滤泡分类模型训练装置，包括：
3、数据获取模块，用于获取由各个样本构成的训练集，其中，每个所述样本均包含有一患者的甲状腺区域对应的灰阶超声影像、彩色多普勒超声影像、临床数据和对应的甲状腺滤泡类型标签；
4、模型训练模块，用于采用所述训练集训练预设的多模态深度学习模型，以使该多模态深度学习模型分别提取所述灰阶超声影像和所述彩色多普勒超声影像各自对应的影像特征数据，并提取所述临床数据对应的文本特征数据，再对所述影像特征数据和所述文本特征数据进行数据拼接，以及对拼接得到的拼接特征向量进行甲状腺滤泡分类，进而将所述多模态深度学习模型迭代训练为甲状腺滤泡分类模型。
5、在本技术的一些实施例中，所述多模态深度学习模型包括：灰阶影像特征处理网络、彩色影像特征处理网络、文本特征提取网络、特征拼接层和分类器网络；
6、所述灰阶影像特征处理网络用于提取所述灰阶超声影像的特征图以作为该灰阶超声影像的影像特征数据，并将所述灰阶超声影像的特征图传输至特征拼接层；
7、所述彩色影像特征处理网络用于提取所述彩色多普勒超声影像的特征图以作为该彩色多普勒超声影像的影像特征数据，并将所述彩色多普勒超声影像的特征图传输至特征拼接层；
8、所述文本特征提取网络用于提取所述临床数据的文本特征向量以作为该临床数据对应的文本特征数据，并将所述文本特征向量传输至特征拼接层；
9、所述特征拼接层用于对所述灰阶超声影像的特征图、所述彩色多普勒超声影像的特征图和所述文本特征向量映射到同一维度并进行拼接，以得到对应的拼接特征向量，并将该拼接特征向量传输至分类器网络；
10、所述分类器网络用于对所述拼接特征向量进行甲状腺滤泡分类。
11、在本技术的一些实施例中，所述灰阶影像特征处理网络和彩色影像特征处理网络分别包括：依次连接的一个基于注意力机制的xception网络、全局平均池化层和全连接层。
12、在本技术的一些实施例中，所述基于注意力机制的xception网络包括：依次连接的输入数据流网络、第一注意力模块、中间数据流网络、第二注意力模块、输出数据流网络和第三注意力模块，且所述第三注意力模块、所述全局平均池化层和全连接层之间依次连接，以使所述灰阶影像特征处理网络和彩色影像特征处理网络分别用于将输入的目标超声影像映射到不同的通道以实现各个所述通道之间的分离，并分别对不同的所述通道进行卷积操作以得到各个所述通道各自对应的注意力特征图，再对各个所述注意力特征图进行拼接以得到所述目标超声影像的特征图，并输出该特征图至所述特征拼接层，其中，所述目标超声影像包括所述灰阶超声影像或所述彩色多普勒超声影像。
13、在本技术的一些实施例中，所述第一注意力模块、第二注意力模块和第三注意力模块均采用cbam模块。
14、在本技术的一些实施例中，所述文本特征提取网络包括：以transformer编码单元作为特征提取器的bert网络；
15、所述transformer编码单元包括相互连接的多头注意力层和前馈神经网络层，以使得所述bert网络用于基于多头注意力机制提取所述临床数据的文本特征向量，并将所述文本特征向量传输至特征拼接层。
16、在本技术的一些实施例中，所述数据获取模块包括：
17、数据获取单元，用于获取多个患者各自对应的原始灰阶超声影像、原始彩色多普勒超声影像、原始临床数据和对应的甲状腺滤泡类型标签，其中，所述甲状腺滤泡类型标签包括：用于表示甲状腺滤泡性腺瘤的第一标签和用于表示甲状腺滤泡癌的第二标签；
18、影像预处理单元，用于对经剪裁的各个所述原始灰阶超声影像和各个所述原始彩色多普勒超声影像进行降噪处理，以得到各个所述原始灰阶超声影像各自对应的灰阶超声影像以及各个所述原始彩色多普勒超声影像各自对应的彩色多普勒超声影像；
19、文本预处理单元，用于对各个所述原始临床数据进行降噪处理，以得到各个所述原始临床数据各自对应的临床数据；
20、数据组合单元，用于相同患者的所述灰阶超声影像、彩色多普勒超声影像、临床数据和对应的甲状腺滤泡类型标签进行组合以得到各个所述样本，并生成由各个所述样本构成的训练集；
21、数据补齐单元，用于若检测到所述训练集的样本中存在任一模态的数据缺失，则对该模态对应的已有数据进行随机过采样以得到该模态对应的随机生成数据，并将该随机生成数据存储至对应的存在数据缺失的所述样本中。
22、本技术的另一个方面提供了一种甲状腺滤泡分类装置，包括：
23、数据接收模块，用于接收目标患者的灰阶超声影像、彩色多普勒超声影像和临床数据；
24、模型分类模块，用于将所述目标患者的灰阶超声影像、彩色多普勒超声影像和临床数据输入甲状腺滤泡分类模型中，以根据该甲状腺滤泡分类模型的输出确定所述目标患者对应的甲状腺滤泡类型，其中，所述甲状腺滤泡分类模型预先基于所述甲状腺滤泡分类模型训练装置训练得到。
25、本技术的第三个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述甲状腺滤泡分类模型训练装置的功能，或者，实现所述甲状腺滤泡分类装置的功能。
26、本技术的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述甲状腺滤泡分类模型训练装置的功能，或者，实现所述甲状腺滤泡分类装置的功能。
27、本技术提供的甲状腺滤泡分类模型训练装置，设有相互连接的数据获取模块和模型训练模块，所述数据获取模块用于获取由各个样本构成的训练集，其中，每个所述样本均包含有一患者的甲状腺区域对应的灰阶超声影像、彩色多普勒超声影像、临床数据和对应的甲状腺滤泡类型标签；所述模型训练模块，用于采用所述训练集训练预设的多模态深度学习模型，以使该多模态深度学习模型分别提取所述灰阶超声影像和所述彩色多普勒超声影像各自对应的影像特征数据，并提取所述临床数据对应的文本特征数据，再对所述影像特征数据和所述文本特征数据进行数据拼接，以及对拼接得到的拼接特征向量进行甲状腺滤泡分类，进而将所述多模态深度学习模型迭代训练为甲状腺滤泡分类模型，本技术提供的甲状腺滤泡分类模型训练装置的架构可靠且简单，能够在不大幅提高计算复杂度的基础上，在甲状腺滤泡分类模型训练过程中引入多模态信息来进行特征层融合，能够将局部医学影像特征和临床数据相结合以保留更多的疾病信息，进而能够有效提高甲状腺滤泡分类的精确性，辅助医疗人员在术前对患者的甲状腺滤泡进行分类。
28、本技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本技术的实践而获知。本技术的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
29、本领域技术人员将会理解的是，能够用本技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本技术能够实现的上述和其他目的。
1.一种甲状腺滤泡分类模型训练装置，其特征在于，包括：
2.根据权利要求1所述的甲状腺滤泡分类模型训练装置，其特征在于，所述多模态深度学习模型包括：灰阶影像特征处理网络、彩色影像特征处理网络、文本特征提取网络、特征拼接层和分类器网络；
3.根据权利要求2所述的甲状腺滤泡分类模型训练装置，其特征在于，所述灰阶影像特征处理网络和彩色影像特征处理网络分别包括：依次连接的一个基于注意力机制的xception网络、全局平均池化层和全连接层。
4.根据权利要求3所述的甲状腺滤泡分类模型训练装置，其特征在于，所述基于注意力机制的xception网络包括：依次连接的输入数据流网络、第一注意力模块、中间数据流网络、第二注意力模块、输出数据流网络和第三注意力模块，且所述第三注意力模块、所述全局平均池化层和全连接层之间依次连接，以使所述灰阶影像特征处理网络和彩色影像特征处理网络分别用于将输入的目标超声影像映射到不同的通道以实现各个所述通道之间的分离，并分别对不同的所述通道进行卷积操作以得到各个所述通道各自对应的注意力特征图，再对各个所述注意力特征图进行拼接以得到所述目标超声影像的特征图，并输出该特征图至所述特征拼接层，其中，所述目标超声影像包括所述灰阶超声影像或所述彩色多普勒超声影像。
5.根据权利要求4所述的甲状腺滤泡分类模型训练装置，其特征在于，所述第一注意力模块、第二注意力模块和第三注意力模块均采用cbam模块。
6.根据权利要求2所述的甲状腺滤泡分类模型训练装置，其特征在于，所述文本特征提取网络包括：以transformer编码单元作为特征提取器的bert网络；
7.根据权利要求1至6任一项所述的甲状腺滤泡分类模型训练装置，其特征在于，所述数据获取模块包括：
8.一种甲状腺滤泡分类装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的甲状腺滤泡分类模型训练装置的功能，或者，实现如权利要求8所述的甲状腺滤泡分类装置的功能。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的甲状腺滤泡分类模型训练装置的功能，或者，实现如权利要求8所述的甲状腺滤泡分类装置的功能。
