AMA-SAM：用于高保真组织学细胞核分割的对抗性多域对齐万物分割模型/文献速递-多模态医学影像最新进展

2026.4.8本文提出了AMA-SAM框架通过引入条件梯度反转层CGRL实现鲁棒的多域对齐并设计高分辨率解码器HR-Decoder以保留精细细节从而增强了万物分割模型SAM在高分辨率组织学细胞核分割中的性能有效解决了单数据集训练的过拟合问题及SAM固有的低分辨率输出限制。Title题目01AMA-SAM: Adversarial multi-Domain alignment of segment anything model for high-Fidelity histology nuclei segmentationAMA-SAM用于高保真组织学细胞核分割的对抗性多域对齐万物分割模型文献速递介绍02细胞核分割是数字病理分析中的一项关键任务为疾病诊断、组织学研究和个性化医疗提供重要信息。尽管深度学习方法已广泛应用于组织学细胞核分割但现有方法通常在单一数据集上训练容易对特定数据集的特征过拟合。简单地融合多个数据集反而可能因成像系统、染色协议和组织类型差异导致的域偏移而使性能下降。万物分割模型SAM在通用图像分割方面取得了显著进展但在组织学细胞核分割中存在局限性例如其固定的256x256低分辨率输出需要插值上采样可能导致细胞核边界模糊影响下游分析。同时多数据集训练中的域差异问题也持续影响其性能。为应对这些挑战本文提出了AMA-SAM框架利用主数据集和辅助数据集的协同训练实现高保真高分辨率的组织学细胞核分割。其贡献包括引入条件梯度反转层CGRL实现多域对齐选择性应用梯度反转以协调辅助域特征并保护主域特征设计高分辨率解码器HR-Decoder通过冻结SAM原始解码器并引入切片令牌直接生成高分辨率分割结果保留精细边界通过广泛验证证明了其在主数据集上的优越性能。Aastract摘要03组织病理图像中细胞核的精确分割对生物医学研究和临床应用至关重要。然而现有方法常因仅依赖单一数据集而容易过拟合或在简单整合多源数据时由于域偏移导致性能下降。为解决这些挑战本文提出了对抗性多域对齐万物分割模型AMA-SAM。AMA-SAM通过两项关键创新扩展了万物分割模型SAM。首先它引入了条件梯度反转层CGRL这是一个多域对齐模块旨在协调来自不同辅助域的特征同时保留对主要数据集至关重要的判别性特征以促进域不变表示学习。其次为解决SAM固有的低分辨率输出问题AMA-SAM设计了一个高分辨率解码器HR-Decoder可以直接生成高分辨率的精细分割图从而捕捉复杂的细胞核边界。值得注意的是AMA-SAM被设计用于面向主数据集的多域设置即利用异构辅助数据集优化用户指定的主数据集并明确减轻由域偏移引起的负迁移。在多个公开数据集上的验证结果表明AMA-SAM在性能上持续且显著优于现有最新方法。Method方法04AMA-SAM模型包含三个核心组件整体设计、条件梯度反转层CGRL和高分辨率解码器HR-Decoder。整体设计上模型在训练阶段以预训练的SAM为基础网络通过在每个Transformer层集成MLP层以适应特征表示并引入CGRL进行多域对齐同时使用自动提示生成模块SPGen生成粗分割图作为提示。最后HR-Decoder直接生成全分辨率的细胞核分割输出。推理阶段则简化直接生成高分辨率分割结果。CGRL是一种面向主数据集的多域对齐策略通过将域判别器附加到编码器特征上并有条件地反转梯度。与标准梯度反转层GRL不同CGRL只对辅助样本反转梯度以促进编码器学习域不变特征同时确保主数据集的特征空间保持稳定和良好。HR-Decoder旨在解决SAM的低分辨率输出限制。它冻结了原始SAM解码器参数引入16个新的切片令牌并通过多令牌切片生成器和像素集成模块处理直接生成1024x1024的高分辨率分割图以捕捉精细的细胞核边界和结构细节。训练目标函数结合了精细分割损失、CGRL对抗训练损失和自动提示生成损失。所有实验在单个NVIDIA 4090 GPU上使用PyTorch进行采用Adam优化器训练30个epoch。Discussion讨论04本研究提出的AMA-SAM框架通过融合多源数据并解决高分辨率分割的需求实现了高精度组织学细胞核分割。其关键创新在于引入条件梯度反转层CGRL有效进行多域对齐使辅助数据集的特征与主数据集对齐同时保持主域特征的完整性设计高分辨率解码器HR-Decoder通过整合多个切片令牌和像素集成模块显著提升了最终分割输出的分辨率和边缘细节质量。与传统的单数据集训练方法相比AMA-SAM在主数据集上的分割性能显著提高并能更精细地解析细胞核结构为数字病理学的实际应用提供了强大的技术支持。虽然AMA-SAM在主数据集上表现出色但当前训练策略仍有改进空间。首先AMA-SAM需要预定义一个主数据集并在引入新的主数据集时进行重新训练这限制了其普遍适用性。未来的工作可以探索数据协调技术将所有数据集对齐到统一分布从而构建一个适用于所有数据集的单一模型。其次在优化Transformer编码器时当前策略主要冻结骨干网络层并集成轻量级结构进行微调。虽然这确保了训练效率和稳定性但现有研究表明在某些情况下对SAM编码器进行完全微调可能更有利。因此未来可以系统性地研究在多数据集设置下进行完全微调或采用更灵活的调整方法如低秩适应LoRA和视觉提示微调VPT以进一步挖掘模型潜力并评估不同程度和模式的层解冻策略。Conclusion结论05本文提出了AMA-SAM一个用于组织学细胞核分割的新型多数据集训练框架有效解决了高分辨率成像和多域数据整合的挑战。该方法基于两项关键创新一是条件梯度反转层CGRL它能够对齐辅助数据集与主数据集的特征分布在缓解域差异的同时保留主数据固有特性从而利用多样化训练信息提升模型性能二是高分辨率解码器HR-Decoder通过冻结原始SAM解码器并整合16个额外的切片令牌经多令牌切片生成器和像素集成模块处理直接生成1024x1024分辨率的分割输出有效消除了上采样伪影并增强了细胞核边界的清晰度。广泛的实验和消融研究证实AMA-SAM显著提高了分割精度尤其在多数据集下保留精细细节和细胞核形态方面表现出色为生物医学应用中的高分辨率细胞核分割提供了稳健的解决方案。Results结果06本文通过定性和定量分析评估了AMA-SAM在细胞核语义分割和实例分割任务上的性能。定性比较图2显示在MoNuSeg和TNBC数据集上相比U-Net和UN-SAMAMA-SAM显著减少了假阳性分割、过分割和欠分割错误并提供了更精确的边界描绘例如在MoNuSeg肝脏组织样本上AMA-SAM的Dice分数达到0.8461远高于U-Net的0.6648和UN-SAM的0.8394。定量比较表1显示在MoNuSeg和TNBC数据集上当作为主数据集训练时AMA-SAM在语义分割和实例分割的所有评估指标上均优于包括UN-SAM在内的所有基线方法。特别是在引入辅助数据集后传统方法如nnU-Net和部分SAM基线方法如UN-SAM的性能反而下降而AMA-SAM的性能则持续提升例如在MoNuSeg上AMA-SAM的DSC从84.51%提升至85.12%。消融研究进一步证实了CGRL和HR-Decoder的有效性。CGRL的多域对齐策略不仅减轻了辅助数据集引入的负面影响还增强了主数据集特征表示的保留和精炼表2。HR-Decoder相比原始SAM解码器在DSC、mIoU、F1和HD等指标上均表现出更优的性能表3。此外增加辅助数据集的数量能逐步提升AMA-SAM的分割性能证明了其多域对齐策略在利用多样数据源方面的有效性表4。Figure图07图1.AMA-SAM训练和推理及其关键组件的流程图。我们的AMA-SAM是第一个能够利用具有不同域分布的辅助数据集来增强主数据集上细胞核分割性能的模型。图2.U-Net第3列、UN-SAM第4列和AMA-SAM第5列在MoNuSeg和TNBC数据集上的细胞核分割结果可视化比较。右侧报告了相应的分割误差并计算了预测结果与人工标签第2列之间的Dice分数。