基于长距离注意力模型重建的多层磁共振成像方法及装置

1.本发明涉及医学成像、智能图像处理技术领域，尤其涉及一种多层磁共振成像方法以及实现该方法的装置。


背景技术：

2.磁共振成像因其非创伤性、无电离辐射等优势，在临床疾病诊断和生物医学研究中有着巨大的价值，但是其成像速度较慢，过长的扫描时间等问题阻碍着磁共振成像的发展。
3.并行成像技术，包括近期发展出的同时多层磁共振技术(可以认为是基于3d的并行成像)，减少了成像过程中空间编码的次数，有望提高磁共振的成像速度。
4.然而，并行成像数据需要重建得到图像，此问题具有一定的病态性，随着加速倍数的增加，往往会伴随噪声的放大和伪影的残留，对临床诊断和数据分析可能产生潜在负面影响。


技术实现要素：

5.本发明的主要目的是提供一种基于长距离注意力模型重建的多层磁共振成像方法，该方法解决了现有技术中磁共振图像质量不高，诊断准确率低，成像速度慢，磁共振机器利用率低的问题。
6.本发明的另一目的是提供一种基于长距离注意力模型重建的多层磁共振成像装置，该装置解决了现有技术中磁共振图像质量不高，诊断准确率低，成像速度慢，磁共振机器利用率低的问题。
7.为了实现上述主要目的，本发明提供的一种基于长距离注意力模型重建的多层磁共振成像方法，包括构建深度学习重建模型；对多层同时采集的信号进行数据预处理，使用多层磁共振图像或k空间数据作为数据输入；获取可学习的位置嵌入以及成像参数嵌入；将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型；由深度学习重建模型输出磁共振重建图像的结果。
8.进一步的方案中，所述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，包括：所述深度学习重建模型为transformer结构，该transformer结构以transformer编解码器为核心，其包含前置卷积层、后置卷积层和可学习的位置嵌入以及成像参数嵌入；在获取可学习的位置嵌入以及成像参数嵌入后，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的transformer编码器中；将transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的transformer解码器中；输出磁共振重建图像的结果。
9.更进一步的方案中，在使用多层磁共振图像作为数据输入时，使用二维矩阵表示多层图像，其包括：沿磁共振读出方向在k空间插入零值，扩大磁共振读出方向视野，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像；使用多个二维卷积层，
提取图像的特征，形成一个特征张量，并将该特征张量划分为区块。
10.更进一步的方案中，所述将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的transformer编码器中，包括：卷积层以1维数据的形式将每个区块展开，该数据与可学习的位置嵌入相加后输入到transformer编码器中。
11.更进一步的方案中，所述位置嵌入由该区块所在坐标经过可学习的嵌入层变换得到；或者由该区块所在坐标经过全连接层变换得到。
12.更进一步的方案中，所述将transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的transformer解码器中，包括将transformer编码器的输出和可学习的成像参数嵌入一起输入到transformer解码器，transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像，其中，transformer编码器包含计算所有嵌入相关性的自注意力层和全连接层。
13.更进一步的方案中，所述成像参数嵌入的获取包括：扫描成像信息，将扫描的成像信息编码为一个向量，将向量输入到嵌入层或全连接层或通过固定方式构造得到；其中，所述成像信息可以包括成像部位、层面的角度、采集加速倍数、可控混叠的方向和距离、使用的序列类型、相位编码的方向、fov、tr时间、te时间、脉冲翻转角、被扫描对象、扫描机器等。
14.更进一步的方案中，所述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，包括：将原始图像或k空间数据、成像参数嵌入、位置嵌入作为三个输入，其中，该深度学习重建模型包含卷积层和全连接层；将原始图像或k空间数据经过若干层的卷积层处理后形成n1个特征通道；将成像参数嵌入经过若干层的卷积层处理后形成n2个特征通道；将n1个特征通道和n2个特征通道相拼接后，再送入若干个卷积层，形成n3个特征通道；将位置嵌入经过全连接层后形成n3个输出值，将n3个输出值加到n3个特征通道上，经过卷积神经网络处理，从而得到磁共振重建图像的输出结果。
15.更进一步的方案中，对构建的深度学习重建模型和基于梯度的数据一致性更新结合，进行端对端迭代训练，获得磁共振重建图像的最优输出结果。
16.为了实现上述的另一目的，本发明提供的一种基于长距离注意力模型重建的多层磁共振成像装置，包括模型构建单元，用于构建深度学习重建模型；数据预处理单元，用于对多层同时采集的信号进行数据预处理，使用多层磁共振图像或k空间数据作为数据输入；嵌入单元，用于获取可学习的位置嵌入以及成像参数嵌入；图像重建单元，用于将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型；输出单元，用于输出磁共振重建图像的结果。
17.由此可见，本发明使用深度学习图像重建模型，并加入成像参数嵌入和空间位置嵌入，对于成像的先验信息(如成像部位，使用的序列等)和磁共振数据中远距离相关信息，本发明提供的方法可以高效建模，更好的学习磁共振领域知识，以改善磁共振重建图像的噪声和伪影问题。
18.所以，本发明可以提高磁共振图像质量，提高医生诊断的准确率；加快成像速度，提高磁共振机器利用率，应用范围广，无需对k空间中心满采，广泛适用于梯度回波，自旋回波、平面回波等成像方法。
附图说明
19.图1是本发明基于长距离注意力模型重建的多层磁共振成像方法实施例一的流程图。
20.图2是本发明基于长距离注意力模型重建的多层磁共振成像方法实施例一中以transformer结构作为深度学习重建模型的原理图。
21.图3是本发明基于长距离注意力模型重建的多层磁共振成像方法实施例中一迭代展开框架下使用深度学习重建模型的原理图。
22.图4是本发明基于长距离注意力模型重建的多层磁共振成像装置实施例的原理图。
23.以下结合附图及实施例对本发明作进一步说明。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.基于长距离注意力模型重建的多层磁共振成像方法第一实施例：
26.参见图1，本发明的基于长距离注意力模型重建的多层磁共振成像方法，包括以下步骤：
27.步骤s1，构建深度学习重建模型。
28.步骤s2，对多层同时采集的信号进行数据预处理，使用多层磁共振图像或k空间数据作为数据输入。
29.步骤s3，获取可学习的位置嵌入以及成像参数嵌入。
30.步骤s4，将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型。
31.步骤s5，由深度学习重建模型输出磁共振重建图像的结果。
32.在本实施例中，将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，具体包括：该深度学习重建模型为transformer结构，该transformer结构以transformer编解码器为核心，其包含前置卷积层、后置卷积层和可学习的位置嵌入以及成像参数嵌入；在获取可学习的位置嵌入以及成像参数嵌入后，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的transformer编码器中；将transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的transformer解码器中；输出磁共振重建图像的结果。
33.在上述步骤s2中，在使用多层磁共振图像作为数据输入时，使用二维矩阵表示多层图像，其包括：沿磁共振读出方向在k空间插入零值，扩大磁共振读出方向视野(fov)，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像；使用多个二维卷积层，提取图像的特征，形成一个特征张量，并将该特征张量划分为区块。
34.在本实施例中，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的transformer编码器中，包括：卷积层以1维数据的形式将每个区块展开，该数
据与可学习的位置嵌入相加后输入到transformer编码器中。
35.其中，上述位置嵌入由该区块所在坐标经过可学习的嵌入层变换得到；或者由该区块所在坐标经过全连接层变换得到。
36.在本实施例中，将transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的transformer解码器中，具体包括：将transformer编码器的输出和可学习的成像参数嵌入一起输入到transformer解码器，transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像，其中，transformer编码器包含计算所有嵌入相关性的自注意力层和全连接层。
37.在上述步骤s2中，成像参数嵌入的获取包括：扫描成像信息，将扫描的成像信息编码为一个向量，将向量输入到嵌入层或全连接层或通过固定方式构造得到；其中，上述成像信息可以包括成像部位、层面的角度、采集加速倍数、可控混叠的方向和距离、使用的序列类型、相位编码的方向、fov、tr时间、te时间、脉冲翻转角、被扫描对象、扫描机器等。
38.在本实施例中，对构建的深度学习重建模型和基于梯度的数据一致性更新结合，进行端对端迭代训练，获得磁共振重建图像的最优输出结果。其中，基于梯度的数据可以是共轭梯度法、梯度下降法或其他一些迭代求解的改进方法。
39.在实际应用中，由于同时多层成像可以看作是3d情况下的并行成像，适用于同时多层成像的重建方法可以较为直接的推广到2d并行成像，故下面主要以同时多层成像的重建举例做方法说明。
40.根据线圈灵敏度编码理论，重建同时多层成像数据可以对应以下优化问题，如公式(1)：
41.xr＝argmin
x
‖ax-b‖2 λ‖t(x)‖2ꢀꢀ
(1)
42.其中，a为编码算子，对应k空间同时多层采样和线圈灵敏度调制，x为待重建的多个层面的磁共振图像，b是采集的多通道k空间数据，t(x)是正则化约束。使用本实施例的深度学习重建模型实现t，如图2所示，以transformer编解码器为核心，包含前置卷积层(convolutional neural network，cnn)、后置卷积层和可学习的位置嵌入(positional embedding)和成像参数嵌入(imaging parameter embedding)。
43.在本实施例中，首先对多层同时采集的信号进行readout-concatenate预处理，使得可以使用二维矩阵表示多层磁共振图像，其具体操作是沿磁共振读出方向在k空间插入零值，扩大磁共振读出方向fov，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像。然后，使用多个二维卷积层，提取特征，形成的特征张量，将特征常量划分为小的区块(patch)，将每个区块展开成一维，和可学习的位置嵌入相加输入到transformer编码器中。当然，在另一些实施例中，也可以将多层同时采集的k空间(而不是图像)作为输入。
44.在本实施例中，上述的位置嵌入可以根据该区块所在坐标(x,y,z)或(kx，ky，kz)经过可学习的嵌入层(embedding layer，例如tensorflow框架中的tf.nn.embedding_lookup)变换得到的。或者，也可以通过所在坐标经过全连接层(fully connected layers)变换得到。当然，该位置嵌入也可以通过非学习的固定方式直接构造，例如使用正余弦编码。
45.在本实施例中，transformer编码器可以参考bert中的实现(https://
github.com/google-research/bert)，其包含计算所有嵌入相关性的自注意力层和全连接层，将transformer编码器的输出和可学习的成像参数嵌入(imaging parameter embedding)一起输入到transformer解码器。transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像(可控混叠引起的偏移可以随后去除)。
46.在本实施例中，上述的成像参数嵌入的获取方式如下：首先将该次扫描的成像信息编码为一个向量，再将向量输入到嵌入层或全连接层或通过固定方式构造得到。
47.其中，上述成像信息可以包括成像部位(头部、颈部、胸部、上腹部、下腹部、肘关节、膝关节等，每个部位用一个整数表示)，层面的角度(用和三个平面的夹角表示)，采集加速倍数(通常是介于1到20的小数)、可控混叠的方向和距离、使用的序列类型(fse、flash、epi、flair等，每种序列使用一个整数表示)，相位编码的方向，fov(视野大小)，tr时间、te时间、脉冲翻转角、被扫描对象年龄、性别、身高、体重以及扫描机器的场强、品牌、型号等等。当然，在一些实施例中，这些信息也可以通过dicom文件信息获取。
48.在本实施例中，可以使用上述深度学习重建模型处理输入数据，得到的输出即作为最终重建结果。
49.另外，可以结合modl重建框架(https://github.com/hkaggarwal/modl)，将以上重建模型和基于梯度的数据一致性更新结合，进行端对端迭代，再得到最终输出图像，如图3所示，这样的可能优点在于可以使用更少的训练数据。当然，无论是采取何种方式，都要在训练数据集上进行训练重建模型。
50.本实施例的训练数据集可以通过多种方式获得，可以从真实磁共振机器上扫描获得的，也可以从大规模公开磁共振数据集(例如adni、hcp等)上取得，也可以通过算法仿真得到，例如通过bloch equation或者直接使用开源磁共振仿真软件如mrilab(http://mrilab.sourceforge.net/)。当然也可以混合使用以上三种方式。在训练时，可以采用l1损失、l2损失、感知损失、对抗性损失等加权平均的综合损失函数，可以使用adam优化器进行参数更新。
51.由此可见，本发明使用深度学习图像重建模型，并加入成像参数嵌入和空间位置嵌入，对于成像的先验信息(如成像部位，使用的序列等)和磁共振数据中远距离相关信息，本发明提供的方法可以高效建模，更好的学习磁共振领域知识，以改善磁共振重建图像的噪声和伪影问题。
52.所以，本发明可以提高磁共振图像质量，提高医生诊断的准确率；加快成像速度，提高磁共振机器利用率，应用范围广，无需对k空间中心满采，广泛适用于梯度回波，自旋回波、平面回波等成像方法。
53.基于长距离注意力模型重建的多层磁共振成像方法第二实施例：
54.在本实施例中，上述将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，还包括：将原始图像或k空间数据、成像参数嵌入、位置嵌入作为三个输入，其中，该深度学习重建模型包含卷积层和全连接层；将原始图像或k空间数据经过若干层的卷积层处理后形成n1个特征通道；将成像参数嵌入经过若干层的卷积层处理后形成n2个特征通道；将n1个特征通道和n2个特征通道相拼接后，再送入若干个卷积层，形成n3个特征通道；将位置嵌入经过全连接层后形成n3个输出值，将n3个输出值加到n3个特征通
道上，经过卷积神经网络处理，从而得到磁共振重建图像的输出结果。
55.可见，上述transformer结构不是必须的，在本实施例当中，也可以只用卷积层和全连接层，可以将原始图像(或k空间)数据、成像参数嵌入、位置嵌入作为三个输入，其中，原始图像(或k空间)数据经过若干层的卷积层处理后形成n1个特征通道，成像参数嵌入也经过若干层的卷积层处理后形成n2个特征通道，将原始图像(或k空间)数据形成的n1个特征通道和成像参数形成的n2个特征通道相拼接后，再送入若干个卷积层，形成n3个特征通道。而位置嵌入经过全连接层后也形成n3个输出值，将n3个输出值加到n3个特征通道上，然后再经过卷积神经网络(例如使用resnet50，efficientnet等结构)的处理，得到重建结果。
56.基于多任务的磁共振重建模型训练装置实施例：
57.如图4所示，本发明提供的一种基于多任务的磁共振重建模型训练装置，包括：
58.模型构建单元10，用于构建深度学习重建模型。
59.数据预处理单元20，用于对多层同时采集的信号进行数据预处理，使用多层磁共振图像或k空间数据作为数据输入。
60.嵌入单元30，用于获取可学习的位置嵌入以及成像参数嵌入。
61.图像重建单元40，用于将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型。
62.输出单元50，用于输出磁共振重建图像的结果。
63.在本实施例中，将经过预处理后的输入数据、位置嵌入以及成像参数嵌入输入到深度学习重建模型，具体包括：该深度学习重建模型为transformer结构，该transformer结构以transformer编解码器为核心，其包含前置卷积层、后置卷积层和可学习的位置嵌入以及成像参数嵌入；在获取可学习的位置嵌入以及成像参数嵌入后，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的transformer编码器中；将transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的transformer解码器中；输出磁共振重建图像的结果。
64.其中，在使用多层磁共振图像作为数据输入时，使用二维矩阵表示多层图像，其包括：沿磁共振读出方向在k空间插入零值，扩大磁共振读出方向视野，然后进行快速傅里叶变换，得到沿磁共振读出方向连接的层面混叠的图像；使用多个二维卷积层，提取图像的特征，形成一个特征张量，并将该特征张量划分为区块。
65.在本实施例中，将经过预处理后的数据和可学习的位置嵌入相加后输入到深度学习重建模型的transformer编码器中，包括：卷积层以1维数据的形式将每个区块展开，该数据与可学习的位置嵌入相加后输入到transformer编码器中。
66.其中，上述位置嵌入由该区块所在坐标经过可学习的嵌入层变换得到；或者由该区块所在坐标经过全连接层变换得到。
67.在本实施例中，将transformer编码器的输出和可学习的成像参数嵌入输入到深度学习重建模型的transformer解码器中，具体包括：将transformer编码器的输出和可学习的成像参数嵌入一起输入到transformer解码器，transformer解码器的输出经过重排形成另一个特征张量，再经过卷积层生成重建的多个层面图像，其中，transformer编码器包含计算所有嵌入相关性的自注意力层和全连接层。
68.其中，成像参数嵌入的获取包括：扫描成像信息，将扫描的成像信息编码为一个向
量，将向量输入到嵌入层或全连接层或通过固定方式构造得到；其中，上述成像信息可以包括成像部位、层面的角度、采集加速倍数、可控混叠的方向和距离、使用的序列类型、相位编码的方向、fov、tr时间、te时间、脉冲翻转角、被扫描对象、扫描机器等。
69.在本实施例中，对构建的深度学习重建模型和基于梯度的数据一致性更新结合，进行端对端迭代训练，获得磁共振重建图像的最优输出结果。
70.计算机装置实施例：
71.本实施例的计算机装置包括处理器，处理器执行计算机程序时实现上述多层磁共振成像方法实施例中的步骤。
72.例如，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
73.计算机装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，计算机装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机装置还可以包括输入输出设备、网络接入设备、总线等。
74.例如，处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
75.存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。例如，存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音接收功能、声音转换成文字功能等)等；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、文本数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
76.存储介质实施例：
77.终端设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个多层磁共振成像方法的各个步骤。
78.其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电
信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
79.由此可见，本发明提供了一种计算机装置以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
80.需要说明的是，以上仅为本发明的优选实施例，但发明的设计构思并不局限于此，凡利用此构思对本发明做出的非实质性修改，也均落入本发明的保护范围之内。