一种基于语义约束的Transformer多模态影像分割方法

本发明属于计算机视觉影像领域，涉及一种基于语义约束的transformer多模态图像分割方法。

背景技术：

1、多模态图像分割在图像分割起着至关重要的作用。补充信息能够以更高的准确性进行分割。磁性共振成像是定量评估的常用成像技术实践中，多种成像模式，即t1加权(t1)、t2加权(t2)、对比增强t1加权(t1c)，和流体衰减反演恢复(flair)图像。假如每种成像模式都提供独特的对比，多模态磁共振成像通过为分析提供丰富的补充信息。假如每种成像模式都提供独特的对比度和结构。用于分割的多模态图像的关联学习。此外，在实践中，通常使用增强图像观察。造影剂通过时产生明显的对比在正常组织与异常之间的关系。三种形态的对比增强成像方案包括静脉和动脉阶段以及静脉内造影延迟。三相图像有助于更好地分割图像，因为它们可以彼此之间良好互补信息。

2、多模态影像分割数据有着重要的研究意义和价值。但同时现有分割算法表现较差，未充分利用多模态信息，有待改进。由于强大的特征表示能力。卷积神经网络(cnn)已广泛用于图像分割任务，并取得了提升的性能。最近，视觉transformer(vit)将自然语言处理中最强大的技术带到了计算机视觉成像领域。得益于自我关注机制，transformer可以捕获长距离特征，这完美地符合3d体积数据。因此，它已迅速适应3d mri序列中的分割。基于这两种流行的技术，已经为图像分割提出了许多杰出的方法，以应对以下挑战，包括位置和形态学不确定性、低对比度和注释偏差。然而，现有的工作忽略了一个重要的问题，即如何以合理的方式融合多模态图像。其中大多数融合了输入级或特征级的模态。然而，现有的研究很少考虑如何以合理的方式融合多模态图像。

3、准确的多模态图像分割通常需要从多模态数据中有效地学习互补信息并去除冗余信息。研发高效的多序列分割算法，可以提升分割能力。因此面向多序列分割的算法具有着重要的研究意义和广泛的应用价值。

技术实现思路

1、本发明针对现有多序列影像分割方法的不足加以改进，提出一种多层次融合的区域transformer多模态影像分割方法，该方法先通过单模态层次编码器编码单模态特征。并采用门控机制多模态特征进行模态间交互，根据对应的重要性对当前序列进行不同程度的特征增强，门控模块加强了有益于多序列图像的表达。而后通过transformer自注意力机制融合不同模态间的非局部信息以进一步增强多序列的特征表达，其中区域融合模块与真值计算真值区域概率图重点关注区域，抑制非重点区域特征。最后通过k-meanstransformer解码器加快网络收敛。整体网络使得多序列的特征表达得到了增强，实验结果表明，利用增强后的多序列进行分割，网络准确率得到了有效提高，证明了本方法具有良好的性能。

2、为实现这个目标，本发明的技术方案是：步骤1，通过主干编码器对m个模态进行特征提取，得到对应模态的特征图；步骤2，通过跨模态交互模块产生的模态权重矩阵判断m个模态各自对当前模态分割的重要程度产生模态权重矩阵g,它可以被分成m个单独的{g1，...,gm，...,gm}映射，每个映射一个模式。接下来，将内容代码重新加权为fm＝zm·gm通过元素乘法，每个模态的初始特征图与其门控矩阵相乘，对当前模态特征进行不同程度的加强，获得模态增强特征图fm；步骤3，将模态增强特征图拼接特征fr输入到transformer进行模态间特征融合，得到最终编码特征fglobal；步骤4，最后将编码特征输入到kmeans-transformer解码器，实现多序列影像分割。本发明提供了一种多层次融合的区域transformer多模态影像分割方法。

3、有益效果

4、1)通过多尺度编码器：卷积token层次化融合的交错稀疏transformer编码器的性能优于串联叠加的方式。2)跨模态交互模块cif以及多模态交互模块mff：剔除多模态内在的信息冗余,同时考虑多模态内在的互补增强关系，使多模态特征融合更充分性。3)k-meanstransformer解码器：像素特征和簇中心之间的亲和对数直接对应于分割掩码的softmax对数，加快收敛速度。

技术特征：

1.一种基于语义约束的transformer多模态影像分割方法，其特征在于：

2.根据权利要求1所述的方法，其特征在于：

3.根据权利要求1所述的方法，其特征在于，步骤2包括：将n个模态的初始模态特征图输入到多模态交互模块(cif)，cif模块将对多序列进行模态信息筛选，将每个模态特征连接起来，然后输入到具有m输出信道的卷积层激活，该卷积核的大小为3×3，步长为1，边界填充为0，获得模态权重矩阵g，它可以被分成m个单独的{g1，...，gm，...，gm}映射，每个映射一个模式；接下来，将内容代码重新加权为fm＝zm·gm通过元素乘法，每个模态的初始特征图与其门控矩阵相乘，得到图像m个模态增强特征图f＝{f1，...，fm，...，fm}，fm∈rc×h×w；一共进行四个阶段的交互操作，将这些输出级联得到特征并转发到1×1卷积，然后输入到激活函数leaky relu。

4.根据权利要求1所述的方法，其特征在于，步骤3包括以下子步骤：将模态增强特征图f＝{f1，...，fm，...，fm}分别输入到多模态交互模块(mff)；其中mff先对每个模态做卷积，该卷积核的大小为3×3，步长为1，边界填充为0，输入通道为1，输出通道为3，计算前景概率图并用真值做监督，

5.根据权利要求1所述的方法，其特征在于：步骤4包括：将跨模态特征图f’＝{f’1，...，f’m，...，f′m}拼接得到fr并通过降维后的特征拼接fglobal输入到k-means解码器进行分割；引入，k-meanstransformer作为的解码器；k-means解码器包含像素解码器和kmax解码器层；像素解码器由变压器编码器和上采样层组成；这个kmax解码器更新目标类的集群中心通过获取一组群集中心和相应的层并输出更新的聚类中心；第一个kmax解码器的簇中心随机初始化；其他的是输出以前的kmax解码器；kmax的输入解码器首先由k均值交叉注意力处理模块，k-means交叉注意将交叉注意力重新表述如下：其中表示具有n个分段类(roi加上背景)和d个通道的输入聚类中心；c′表示更新的中心；使用上标j和c表示从像素特征和类查询投影的特征；qc∈rn×d，kj∈rhw×d，vj∈rhw×d表示查询、键和值的线性投影特征；k-means交叉注意将普通交叉注意机制中的空间方向softmax函数操作替换为argmax函数；通过这种方式，相似的像素特征被聚集到同一个集群中；最后一个kmax解码器输出的聚类中心用于正则化像素特征，以增强同一类别内像素的表示一致性；将来自像素解码器的特征表示为fde，fde∈rhw×d；簇正则化的像素特征表示为fde′，下标n表示应用softmax的轴实现多模态影像分割。

技术总结
本发明公开了一种基于语义约束的Transformer多模态影像分割方法，包括：将待分割影像从m个模态通过主干编码器行特征提取获得n个不同的模态特征得到对应模态的特征图；通过多模态特征交互模块去除冗余特征，并根据跨模态交互模块(CFI)产生的门控矩阵G对当前模态特征进行不同程度的加强；随后将特定模态增强特征图拼接输入到Transformer进行模态间特征融合，得到最终编码特征；最后将特征输入到Kmeans‑Transformer解码器。由于模态融合网络对多模态特征进行融合并赋予不同模态相应的权重，所以本公开实施例能够有效将有利于多序列影像分割的重要模态进行突出，同时抑制非重要模态对多模态分割的干扰，能够有效提高多模态影像分割精准度。

技术研发人员：马伟,陈颖
受保护的技术使用者：北京工业大学
技术研发日：
技术公布日：2024/1/13