摘  要

目的　提出一种基于特征重建的自监督学习方法，用于计算机断层血管造影（computed tomography angiography，CTA）图像的血管分割。方法　基于三维掩模自编码器的自监督学习框架，采用三维方向梯度直方图（histogram of oriented gradients，HOG）构建特征。通过随机遮盖输入CTA图像的部分区域，并预测遮盖区域的原始体素值和HOG特征，完成模型的预训练。在多个标注数据集上对预训练模型进行微调实现血管分割任务。结果　 使用750张未标注的CTA图像进行预训练，并在两个各包含30张标注CTA图像的数据集上进行微调。与基于神经网络U-Net（neural network U-Net，nnU-Net）的有监督学习方法相比，本方法在主动脉和冠状动脉数据集上的Dice相似性系数分别为91.2% vs. 89.7% 和 84.8% vs. 83.2%。结论　基于特征重建的血管分割自监督学习模型能够实现较精确的血管分割，显著减少对人工标注数据的依赖，具有潜在的临床应用价值。

正  文

在临床实践中，血管分割被广泛用于血管疾病的辅助诊疗[1]。临床医师可以通过计算机断层扫描（computed tomography，CT）技术观察血管的病变情况，辅助临床诊断和规划治疗。由于临床医师主要依赖交互式追踪和分割，血管重建非常耗时费力[2]，严重影响临床诊断和治疗的效率。因此，自动血管分割可为诊疗过程提供便利，在医学图像分析中发挥重要作用。

现有的常见血管分割方法有传统方法、领域自适应方法、有监督方法和无监督方法四大类。传统方法通常基于预定义的规则，需要大量的专业知识和手动模型调整，导致模型的表现力和通用性有限。领域自适应方法的有效性受注释源域数据集质量影响较大，且易受源域和目标域间差距制约[3]。有监督方法需要大量标注数据进行训练，但目前公开的大规模标注血管数据集稀缺。复杂的血管结构由无数细小的分支组成，很容易被图像背景伪影所掩盖，因此即使是专业的医学专家，手动标注过程也非常费力和耗时。现有无监督分割方法大多由应用于动物、花卉等自然图像的方法迁移过来，而医学图像的特征与自然图像差距较大，有很多细小的分支密集和背景伪影复杂，因此一般的无监督分割方法很难在医学图像上发挥作用。

近年来，自监督学习方法展现了强大的表征学习能力[4]。自监督学习是通过在大规模无标记数据上设定一些代理任务来学习有用的表征，并应用于相关的一些下游任务。2022年He 等[5]提出一种新型的自监督学习模型：掩模自编码器（masked autoencoder，MAE），在图像分类和分割等多种下游任务上获得高精确度结果。Chen 等[6]提出了一种基于二维方向梯度直方图（histogram of oriented gradients，HOG）特征重建的自监督学习模型，在视频和图像处理多任务上取得了高效结果。

本研究中，我们提出了一种用于血管分割的新型自监督框架。首先使用三维（three dimension，3D）方向HOG提取血管纹理特征。我们随机遮盖输入CT血管造影（computed tomography angiography，CTA）图像的一些区域，然后同时预测遮盖区域的原始体素和HOG特征。将预训练的编码器与U-Net[7]解码器相连，用于血管分割任务的微调训练，用较少的标注数据得到更精准的血管分割结果。

1 资料与方法

1.1　自监督学习模型结构

1.1.1　MAE

MAE是在自监督预训练过程中，通过将输入图像的一部分块进行随机遮盖，训练模型输出恢复后的完整图像，获得一个强大的图像编码器，将其连接到特定的解码器上，用于不同的下游任务微调训练。MAE使用自然图像的ImageNet数据集进行训练，直接迁移到3D医学图像使用时，表征能力有所减弱。

1.1.2　HOG特征重建

HOG特征是一种图像特征描述符，用于描述图像局部子区域内梯度方向或边缘方向的分布。HOG特征描述符通过简单的梯度滤波（即减去相邻像素）来实现，以计算每个像素处的梯度大小和方向。然后，将每个小局部子区域内的梯度累加到若干个区间的方向直方图向量中，按梯度大小进行统计。直方图被归一化到单位长度。HOG特征的特点是捕捉局部形状和外观，具有平移不变性。并且当整体图像梯度和前景背景明暗度变化时，其提供了对比度变化的不变性。这对医学图像的特征提取很重要。现有的HOG特征计算方法大多基于二维图像。关于如何建立3D的HOG特征图，并没有确定范式。现有研究[8]中使用的3D HOG特征图计算方法是在二维图像算法的基础上，在方向分布直方图向量表统计时，增加一个第3D的空间角度，均匀采样两个角度空间的角度值，将其直接组合成二元方向基坐标来统计方向梯度。但这样的采样方式是非均匀的，两极的采样会更密一些。对此，我们将计算方式进行了改进。我们使用斐波那契网格点阵[9]，其可以生成一个特定长度的球面坐标数列，来近似均匀地采样球面。均匀的角度采样可以让提取到的HOG特征冗余性更低，对原图特征的表征更为高效。球面坐标序列的计算方式如下：

设球面半径为1，共取个点，第个点的坐标由以下公式计算：

其中，为黄金分割比常数，即：

1.1.3　UNETR分割模型[10]

Unet Transformers（UNETR）模型由Transformer编码器和U-Net解码器组成。编码器的几个中间层的输出通过反卷积升采样同步到和Unet解码器中间层同样的尺度，并进行连接，用于输出原始图像的分割结果。

1.2　基于HOG特征重建的自监督学习模型

1.2.1　模型设计

MAE的原始研究是在ImageNet[11]自然图像数据集上进行预训练，与医学图像差别较大，直接迁移使用并不有效，需要针对医学图像进行一定优化。MAE的预训练方法是重建掩模部分的原图像素（体素），这种方式会让模型容易学习到原始图像中颜色深浅的特征，但也会让模型容易忽略图像的纹理特征，而纹理特征在医学图像中又尤其重要。HOG特征包含了图像的纹理特征，相对于体素来说是较为高阶的特征，更接近编码器学到的图像深层特征。使用HOG特征相比直接用体素强度作为预测目标，让模型更专注于学习图像的纹理特征，使预训练更专注于编码器的训练，对下游分割任务的微调有利。本研究针对MAE模型在医学图像处理中的局限性，将HOG特征和体素强度同时作为自监督学习预训练的预测目标，增强自监督预训练编码器的语义表征能力，使分割任务的精度得到提升。

1.2.2　预训练阶段

在预训练阶段，自监督学习模型将输入的3D图像切割成一系列相同大小的块，将其中一定比例的块进行遮盖，输入Vision Transformer[12]（ViT）编码器中。编码器的输出分别连接到两个ViT解码器，分别预测原始的全部3D图像和原图像的HOG特征图。预测HOG特征图使用的计算单元大小与初始图像切割的块大小相同。在设计自监督训练任务的过程中，我们对比了不同的监督信号及网络结构对最终下游分割任务表现的影响。下图是不同自监督框架的对比结果。单一使用原始体素或者HOG特征作为自监督训练的监督信号，模型最终在下游分割任务的表现都较为一般。将两种特征的组合作为自监督学习的监督信号有多种不同的方法。其一是将解码器的输出直接连接到两个输出头，输出恢复的图像和重建的HOG特征，将其称为多任务（multi-task）方法。其二是从解码器层面进行分离，将编码器输出的图像特征表示连接到两个并行的解码器，并进行输出，将这种方法称为并行（parallel）方法。其三是从编码器抽取的图像特征层面进行分离，将其拆分成两部分，两部分各自连接一个解码器并进行输出，将这种方法称为特征拆分（feature split）方法；见图1。

1.2.3　微调训练阶段

在微调训练阶段，自监督学习模型使用与预训练阶段相同的编码器结构，并使用预训练的权重对其进行初始化。解码器使用一个3层的UNETR解码器。将编码器的第4层、第8层和第12层用反卷积层进行升采样，用以同步到U-Net解码器的特征图尺度，输出得到分割结果；见图2。

图1　自监督预训练模型的不同结构

图2　自监督模型设计示意图

1.3　伦理审查

该研究由四川大学华西医院生物医学伦理审查委员会批准。批准号：2022年审（1638）号。

 2 

结果

2.1　数据

我们使用的数据采集自华西医院810例健康人群与患者的CTA图像。预训练数据集750例健康人群与患者的CTA图像中包含250例健康人群与患者主动脉、300例健康人群与患者冠状动脉和200例健康人群与患者头颈血管的图像。在微调阶段使用的数据包含了30例主动脉CTA图像和30例冠状动脉CTA图像，由华西医院影像科6位有经验的医师进行标注。所有图像的窗宽设置为700 HU，窗位设置为300 HU，主动脉数据集分辨率为1.2 mm，冠状动脉数据集分辨率为0.4 mm。

2.2　实验参数设置

实验在Linux平台下完成，使用PyTorch搭建网络模型，使用AdamW优化器。（1）预训练阶段 使用4个NVIDIA V100 GPU进行加速训练，输入的图像块大小为96×96×96（3D体素），网络训练次数（epoch）设置为1 200，初始学习率（learning rate）为0.0005，批量大小（batch size）设置为8，对数据进行随机翻转增广，比例为0.2。（2）微调训练阶段使用2个NVIDIA V100 GPU进行加速训练，网络训练次数设置为1 200，初始学习率为0.001，批量大小设置为2。（3）优化器参数 AdamW优化器参数设置为0.90和0.95，权重衰减比例设置为0.05。

2.3　对比实验

分割结果的评价指标使用Dice相似性系数（Dice similarity score，DSC）[13]，基线算法是基于卷积神经网络（convolutional neural network，CNN）的监督算法nnU-Net[14]。实验对比包括我们的研究提出的3D-自监督学习模型与3D-MAE，使用主动脉、冠状动脉两个不同的数据集。训练集分别包含20例数据，验证集分别包含10例数据，对比实验方法为3折交叉验证。

实验结果显示，本研究提出的3D-自监督学习模型在主动脉数据集和冠状动脉数据集的平均DSC分别达91.2%和84.8%，显著高于基线方法nnU-Net的89.7%和83.2%；见表1。基础3D-MAE模型的平均DSC只有88.9%和82.7%，说明仅使用体素强度作为监督信号进行自监督预训练的基于Transformer的模型并不能超过基于CNN的监督模型。由此推断，在自监督学习模型中加入HOG这样的高阶纹理特征作为监督信号有助于医学图像的自监督学习。

3D-自监督学习模型提出的方法和基线方法分割主动脉的3D可视化结果显示，3D-自监督学习模型对CTA图像的细节识别更灵敏，如对小血管的识别和重建的精准度更高；见图3。

图3　血管分割结果的三维可视化

2.4　消融实验

消融实验结果显示，相比从头训练，即基础的UNETR模型（平均DSC为79.8%），所有的自监督方法性能均提高。3D-MAE方法达到88.6%的平均DSC。3D-MHE的不同模型结构中，多任务的方法仅有81.3%的平均DSC，可能是输出的特征差异较大，仅用一层输出层使得解码器承担了部分编码器的工作，导致编码器性能下降。并行方法的平均DSC为90.1%，而特征拆分方法的平均DSC为91.2%；见表2。这说明，在编码器抽取的图像特征层面进行自监督任务的分离对于本研究提出的方法有最好的效果。

３ 讨论

本研究构建了一种基于特征重建的血管分割自监督学习模型，可以广泛应用于CTA图像血管分割，在仅需少量标注数据的情况下，显著提升了血管分割的精度和效率。血管分割对于临床诊疗至关重要，尤其在术前病灶定位、手术规划及术后疗效评估中均具有关键作用。

本研究创新性地使用自监督学习模型解决血管分割中数据稀缺、标注困难的痛点问题。本研究对比了自监督模型与基于CNN的传统监督学习模型在血管分割上的精度，验证了自监督学习模型应用于医学图像分割的可行性。自监督学习模型的优势在于其强泛化性。针对人体不同部位血管的形态多样性（如分支复杂度、管径异质性），自监督学习模型可以在仅使用小规模标注数据集进行微调训练的情况下，达到比监督学习模型从头训练更精确的分割结果，可以大幅减少标注成本，提升分割精度和效率。

本研究使用3D-MAE模型作为基础模型，针对医学图像的特点，创新性地使用血管CTA图像的方向分布直方图特征作为自监督学习的监督信号，使模型同时学习血管图像的颜色深浅特征和纹理特征，对于复杂多变的血管结构有更强的识别能力。对于3D图像的方向分布直方图计算方法，本研究创新性应用基于斐波那契网格点阵的方向采样方式，对血管图像的特征提取起到了重要的作用，有助于自监督模型对图像特征的学习。在多个具有不同形态特征的血管CTA图像数据集上，我们的自监督模型在仅进行微调训练的情况下，获得了高于基线模型的分割精度，体现了自监督学习模型的泛化性能优势。

尽管本研究提出的自监督模型取得了较好的性能优势，但仍有一定局限性。自监督学习模型需要大量无标注数据进行预训练，且预训练过程耗时较长，对于算力的需求也较大。此外，本研究的模型对于不同分辨率和不同质量的CTA图像的分割效果，还有待进一步探索。在后续研究中，可以进一步探究我们的模型对于临床工作的意义，进一步提高模型的应用价值。

利益冲突：无。

作者贡献：周博文负责设计和进行实验，撰写与修改论文；孙辉负责设计实验，收集数据；刁凯悦负责数据的收集和标注；夏清和李康负责论文的设计、审核与修改。

Tags： 基于特征重建的血管分割自监督学习模型