点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料及应用！发论文/搞科研/涨薪，强烈推荐！

来源：葩米学术

期刊《Nature Cancer》上发表的文章《An MRI–pathology foundation model  for noninvasive diagnosis and grading of  prostate cancer》研究提出了一种MRI-病理基础模型，用于前列腺癌的非侵入性诊断和分级。通过整合MRI影像数据与病理信息，结合先进的人工智能技术，模型能够自动识别和分析前列腺癌的关键特征，进而实现精准的诊断和分级。该方法不仅提高了前列腺癌的诊断效率，还能够为临床医生提供重要的辅助工具，以便在不进行侵入性手术的情况下，做出更为准确的疾病评估和治疗决策。通过训练和验证模型，研究证明其在准确性和可靠性方面具有显著优势，为前列腺癌的早期诊断和个体化治疗提供了有力支持。

01

引言

研究介绍了一种新型非侵入性前列腺癌诊断与分级工具——MRI-PTPCa模型。该模型结合了多参数磁共振成像（MRI）数据与病理学信息，通过对近130万张图像-病理对进行对比学习训练，采用多输入视觉变压器（MIMSViT）架构，融合T2WI、DWI、ADC等多种MRI序列数据，成功预测前列腺癌的病理侵袭性。该模型在多中心回顾性和前瞻性队列中的验证结果显示，MRI-PTPCa在前列腺癌诊断中的AUC值超过0.978，分级准确率为89.1%，并显著优于现有的PSA和PI-RADS等临床工具。该模型不仅可有效减少过度诊断和活检，还能提高不同临床场景中的诊断效率，尤其对经验较少的放射科医生具有重要的辅助作用。技术上，MRI-PTPCa采用自监督学习和多序列信息融合策略，提高了特征提取能力与模型鲁棒性，克服了数据异质性和标签偏差的问题。该研究展示了人工智能基础模型在前列腺癌诊断中的巨大潜力，为未来临床实践提供了一个有效的非侵入性诊断工具，具有重要的临床应用前景。

02

模型介绍

研究的模型架构为MRI-PTPCa，这是一种基于多参数磁共振成像（MRI）和病理学数据的基础模型，旨在实现前列腺癌的非侵入性诊断和分级。

1. 整体架构概述：

   MRI-PTPCa是一个端到端的模型，利用多参数MRI（mp-MRI）数据预测前列腺癌的病理侵袭性。

   模型通过对比学习在大量图像-病理对上进行训练，以生成与前列腺肿瘤侵袭性密切相关的连续分数，并可半定量地分类为不同的Gleason Grade Group（GGG）。

2. 输入模块：

   功能：接收并预处理多参数MRI数据，包括T2加权成像（T2WI）、扩散加权成像（DWI）和表观扩散系数（ADC）序列。

   细节：输入数据经过标准化处理，如中心裁剪、填充、直方图标准化和Z-score标准化，以减少数据异质性对模型训练的影响。

   同时，对于缺失的MRI序列，采用全零矩阵进行填充。

3. 对比学习模块（MRI-BYOL网络）：

   功能：通过自监督学习策略增强特征提取能力，减少对完整MRI序列的依赖，提高模型的鲁棒性。

   细节：采用Bootstrap Your Own Latent（BYOL）对比学习网络，包含两个对称分支，每个分支具有编码器、投影器和预测器。

   通过随机裁剪MRI图像并计算两个分支之间的对比损失，实现特征的自监督学习。

4. 多输入视觉变压器模块（MIMSViT）：

   功能：对多参数MRI数据进行特征提取、融合和患者级别的预测。

   组成：

   CNN子网络：包括三个平行的卷积神经网络（Net-T2, Net-DWI, Net-ADC），使用MobileNet_v3作为主干网络，分别对T2WI、DWI和ADC图像进行2D编码和特征提取。

   多实例学习（MIL）网络：将CNN子网络提取的特征进行打包和池化，形成两个MIL网络（MILNet-T2和MILNet-Fusion），用于模型级别的融合和患者级别的预测。

   视觉变压器（ViT）预测器：包含两个独立分支（FusionViT和T2ViT），FusionViT用于多级融合和患者级别的预测，T2ViT在训练早期引导梯度下降。

5. 损失函数与训练策略：

   联合损失函数（JLms）：结合预测一致性损失（Lci）和分类损失（LMIL_T2, LMIL_Multi, LViT_T2, LViT_Multi），通过多级监督指导模型训练。

   训练细节：使用Adam优化器，初始学习率为0.001，批量大小为16。

   通过监控内部验证集上的多分类准确率，并采用早停策略防止过拟合。

6. 输出模块：

   功能：生成MRI-PTPCa分数，表示患者前列腺肿瘤病理侵袭性的概率，并可半定量地分类为不同的GGG等级（良性、GGG1、GGG2、GGG3、GGG4、GGG5）。

   细节：MRI-PTPCa分数通过结合输出分布计算得出，代表概率密度在概率累积值超过0.5时的值。

   在临床应用中，MRI-PTPCa等级与GGG等级形式相同，用于前列腺癌的诊断和分级。

模型通过这些模块的协同工作，MRI-PTPCa模型能够有效地利用多参数MRI数据，实现前列腺癌的非侵入性诊断和分级，为临床决策提供有力支持。

03

研究结果

1. 诊断性能

• PCa诊断：

  在回顾性多中心测试集、PI-CAI测试集和前瞻性测试集中，MRI-PTPCa模型表现出高度一致的诊断性能。

  AUC（曲线下面积）：在回顾性患者中，MRI-PTPCa的AUC达到0.983（95% CI: 0.98-0.986）；在PSA灰色区域（4-10 ng/mL）内，AUC为0.988（95% CI: 0.986-0.991）。

  在前瞻性测试中，AUC为1.0（95% CI: 1.0-1.0）。

  灵敏度（SEN）：在回顾性患者中，SEN为0.988（95% CI: 0.986-0.991）；在前瞻性测试中，SEN为1.0（95% CI: 1.0-1.0）。

  特异度（SPE）：在回顾性患者中，SPE为0.981（95% CI: 0.977-0.986）；在前瞻性测试中，SPE为1.0（95% CI: 1.0-1.0）。

• 临床显著性前列腺癌（CSPCa）诊断：

  MRI-PTPCa在CSPCa诊断中也表现出色，整体AUC达到0.978（95% CI: 0.975-0.981）。

  灵敏度（SEN）：0.997（95% CI: 0.995-0.998）

  特异度（SPE）：0.938（95% CI: 0.931-0.945）

  在外部测试集和PI-CAI测试集中，AUC均超过0.97，显示出强大的诊断鲁棒性。

2. 分级性能

• Gleason Grade Group（GGG）预测：

  MRI-PTPCa在GGG预测中表现出高精度，整体准确率（ACC）达到0.891（95% CI: 0.882-0.899）。

  多分类准确率：在回顾性测试集中，各中心的分类准确率均不低于84%。

  加权平均精确度和召回率：均超过0.8，显示出模型在分级任务中的高可靠性和竞争力。

• 具体分级性能：

  GGG5：预测准确率最高，反映了模型在识别最具侵袭性PCa病例方面的有效性。

  GGG4和GGG3：预测性能统计上相似（0.892 [0.874–0.909] vs. 0.881 [0.87–0.892], P > 0.05），进一步验证了模型在独立诊断CSPCa方面的可靠性。

3. 与临床工具的比较

• 与PSA比较：

  MRI-PTPCa在PCa诊断中的AUC显著高于PSA（0.983 vs. 0.664, P < 0.05）。

  在PSA灰色区域（4-10 ng/mL）内，MRI-PTPCa同样表现出显著优势，AUC为0.988，而PSA的AUC无显著线性相关性。

• 与PI-RADS比较：

  在CSPCa诊断中，MRI-PTPCa的AUC显著高于PI-RADS（0.978 vs. 0.749, P < 0.05）。

  MRI-PTPCa有效降低了PI-RADS的假阳性率（FPR），特别是在PI-RADS评分为3和≥3的患者中，显著提高了诊断特异性。

4. 前瞻性评估

• 在100名前瞻性患者中，MRI-PTPCa再次验证了其优异的诊断性能：

  PCa诊断：AUC为1.0（95% CI: 1.0-1.0）

  CSPCa诊断：AUC为1.0（95% CI: 1.0-1.0）

  分级准确率：0.823（95% CI: 0.791-0.855）

5. 临床净收益

通过决策曲线分析，MRI-PTPCa在临床应用中显示出显著的正净收益，特别是在减少过度诊断和漏诊方面。

与PSA和PI-RADS相比，MRI-PTPCa在多个阈值概率下均提供了更高的净收益，进一步支持其作为独立诊断工具或辅助工具的临床应用价值。

这些研究结果充分证明了MRI-PTPCa模型在前列腺癌非侵入性诊断和分级中的优异性能，为临床决策提供了强有力的支持。

04

研究意义

1. 推动前列腺癌非侵入性诊断与分级的发展

填补临床空白：前列腺癌的当前诊断方法依赖于侵入性活检，存在风险且结果可能不一致。MRI-PTPCa模型通过非侵入性方式实现了前列腺癌的准确诊断和分级，为临床提供了一种更安全、更可靠的选择。

提高诊断准确性：研究结果显示，MRI-PTPCa在前列腺癌诊断中的AUC值超过0.978，分级准确率达到89.1%，显著优于现有的临床工具（如PSA和PI-RADS）。

这一突破有助于减少过度诊断和漏诊，提高患者的治疗效果和生活质量。

2. 展示AI在医学影像与病理学结合中的巨大潜力

跨模态学习：MRI-PTPCa模型成功地将MRI影像特征与病理学知识相结合，展示了AI在跨模态学习中的强大能力。这种结合不仅提高了诊断的准确性，还为理解肿瘤生物学行为提供了新的视角。

基础模型的应用：通过大规模数据集和自监督学习策略，MRI-PTPCa展示了AI基础模型在临床实践中的潜力。这种模型可以迁移到其他类型的癌症诊断中，推动AI在医学领域的广泛应用。

3. 优化临床决策与患者管理

辅助临床决策：MRI-PTPCa模型可以作为独立诊断工具，也可以与现有临床措施结合使用，为医生提供更全面、准确的信息，从而优化治疗决策。

减少不必要的活检：由于MRI-PTPCa的高特异性和敏感性，它可以显著减少不必要的活检操作，降低医源性伤害和医疗成本。

长期监测：作为一种非侵入性工具，MRI-PTPCa适用于不适合或拒绝手术的患者进行长期监测，及时发现病情变化。

4. 促进AI技术在医学领域的接受与应用

提高医生接受度：研究表明，无论是资深放射科医生还是经验较少的医生，在使用MRI-PTPCa后诊断准确性和效率均有所提高。这种提升增强了医生对AI技术的信任和接受度，促进了AI在临床实践中的普及。

推动技术标准化：MRI-PTPCa模型的开发和验证遵循了严格的方法学标准（如TRIPOD和CLAIM指南），为AI技术在医学影像领域的应用提供了可借鉴的范例，推动了技术的标准化和规范化。

5. 为未来研究提供方向与基础

探索更复杂的模型架构：基于MRI-PTPCa的成功，未来研究可以进一步探索更复杂的模型架构和更大的数据集，以提高模型的性能和泛化能力。

多模态数据融合：结合其他类型的医学影像数据（如PET、CT）和临床信息，开发多模态融合模型，可能进一步提高前列腺癌诊断和分级的准确性。

临床转化研究：开展更多的前瞻性、多中心临床研究，验证MRI-PTPCa在不同临床场景中的有效性和安全性，为其临床转化提供有力支持。

研究不仅为前列腺癌的非侵入性诊断和分级提供了新的有力工具，还展示了AI在医学影像与病理学结合中的巨大潜力，对优化临床决策、促进AI技术接受与应用以及推动未来研究具有重要意义。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ICCV 2025 论文和代码下载
在CVer公众号后台回复：ICCV2025，即可下载ICCV 2025论文和代码开源的论文合
CVPR 2025 论文和代码下载
在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集

CV垂直方向和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）人数破万！如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看