基于多模态注意力的虚拟 mIF 染色系统：一种经济高效且快速的替代方案

原创 转网 转化医学网

【导读】本研究介绍了基于多模态注意力的虚拟mIF 染色（MAS）系统，该系统通过采用深度学习模型，从双模态非抗体染色荧光成像（特别是AF和DAPI成像），生成高质量的虚拟mIF图像，从而显著推动了该领域的发展。MAS系统利用自我注意和多注意力机制，来准确预测胃癌中多种与生存相关的生物标志物，为传统mIF技术，提供了一种经济高效且快速的替代方案。

2024年8月17日，斯坦福大学医学院邢磊团队在期刊《》上发表了题为“ from non-- for ”的研究论文。研究结果为现有证据增加了大量价值，证明MAS系统可以达到与标准mIF染色相当的预后准确性。团队使用来自94名胃癌患者的180张病理载玻片，验证了该系统在癌性和非癌性胃组织中，都显示出一致的性能。该研究纳入了7个关键的胃癌生物标志物（CD3、CD20、FOXP3、PD1、CD8、CD163 和 PD-L1），凸显了该系统的多功能性和潜在的临床适用性。

(24)00323-2/#%20

研究背景

01

通过多路免疫荧光（mIF）进行病理功能染色，可以准确识别和诊断各种疾病，从癌症和传染病到自身免疫性疾病和遗传疾病，并为个性化患者护理，提供了不可或缺的工具。通过可视化组织样本中，特定生物分子的存在和精确位置，mIF使病理学家能够深入了解基础生物学、预后预测和免疫治疗患者的选择，并促进更明智的治疗决策。虽然多路复用对于检测和定位各种组织中的不同抗原非常理想，现有技术，如多路复用离子束成像 （MIBI），以及通过索引进行共检测（CODEX），经常会遇到染色不一致、大量时间和成本要求等障碍，以及染色载玻片，随着时间的推移而褪色。

生成式人工智能（AI）的最新进展，在图像到图像翻译方面，显示出巨大的潜力，特别是在病理图像生成方面。一些研究的重点，是提高不同模式的病理成像的分辨率和质量。例如，Wang等人采用生成对抗网络（GAN）在荧光显微镜中，实现跨模态超分辨率，增强低分辨率图像，以匹配高分辨率图像，并使先进成像技术的使用大众化。研究还探索了深度学习从AF成像中，以数字方式生成特定抗体染色的潜力，例如，使用AF图像的虚拟IHC HER2染色。这些研究强调了组织和细胞的非抗体染色荧光图像中，存在与生物标志物相关的固有和未探索的信息。

为了设计一个快速、经济、可靠的胃癌预后mIF框架，团队引入了一种基于多模态注意力的虚拟mIF染色（MAS）系统，该系统旨在高效、可靠地，从非抗体染色的荧光成像中，产生虚拟mIF染色。MAS模型建立在端到端生成卷积神经网络（CNN）之上，并利用AF和4′，6-二脒基-2-苯基吲哚（DAPI）载玻片作为输入，来生成胃癌相关生物标志物的mIF染色。该模型的特征提取器，强化了预训练的掩码自动编码器（MAE）和自注意力组合策略，可以熟练地提取抗原标记相关特征，并精确定位靶细胞。并行多注意力解码器，采用复合损失函数最小化，可同时预测不同生物标志物的一组图像。MAS系统的疗效，使用94名胃癌患者队列进行评估，成功实现了对癌性和非癌性胃组织中7种胃癌生存相关生物标志物（CD3、CD20、FOXP3、PD1、CD8、CD163和PD-L1）的虚拟染色，其质量与手动染色的参考图像相当。此外，团队还验证了虚拟mIF图像的预后能力与手动染色的mIF图像，得出的结果相匹配。MAS系统通过能够快速、经济高效地生成可靠的mIF染色，凭借其一致和高效的性能，它有可能重新定义mIF染色范式，提供一条通往个性化医疗的途径，而不会带来大量的时间和财务负担。

研究进展

02

所提出的MAS系统，可实现高性能虚拟mIF染色

虚拟mIF图像与相应的手动染色图像，表现出显著的相似性，证明了所提出的MAS系统，在实现癌症和非癌症组织自动染色方面的能力。

病理学家评估并记录了，预测的虚拟mIF染色斑块和手动染色的参考mIF斑块中真阳性细胞的数量。散点图表明，预测的虚拟mIF斑块，与标准手动染色斑块之间存在很强的正相关关系。CD3、CD20、FOXP3和PD1标记的相关系数（PCC）值分别为0.884、0.970、0.981和0.963。CD3、CD20、FOXP3和PD1标记的t检验中相应的 p 值为，2.37×10−412.37×10−41，2.89×10−642.89×10−64，1.11×10−931.11×10−93和1.30×10−751.30×10−75分别。CD3、CD20、FOXP3和PD1标记的相关系数值，分别为0.809、0.959、0.943和0.879。CD3、CD20、FOXP3 和 PD1 标记的近似 t 检验中的相应 p 值，分别为1.70×10−291.70×10−29，7.72×10−587.72×10−58，2.62×10−632.62×10−63和2.69×10−432.69×10−43。这些结果表明，在检查单个细胞时，从MAS系统获得的虚拟mIF图像与标准手动染色的载玻片，具有高度的相似性。

非癌症病例（a）和癌症病例（b）的预测染色玻片的说明性示例。对于每种情况，团队都提出了3个元素：MA模型的输入，表示为非抗体染色的荧光图像；MA模型生成的输出，即虚拟mIF染色图像，以及标准的手动mIF染色图像。结果独立显示CD3、CD20、FOXP3、PD1以及合并的多路复用结果。为了清楚地描绘错综复杂的细节，团队放大了4个不同的部分，位于综合幻灯片图像下方。（c） CD3、CD20、FOXP3和PD1标记的虚拟mIF贴片和手动染色贴片的散点图。颜色渐变表示点的密度。X轴和Y轴，分别表示虚拟mIF贴片和手动染色的mIF贴片上，真阳性染色细胞的数量。颜色渐变表示点的密度。

使用虚拟mIF图像，预测胃癌患者的生存率

研究结果显示，与CD3低组相比，CD3高组患者的OS明显更好（p < 0.001）。这与从标准手动染色图像中，观察到的分析结果一致。团队将分析扩展到其他生成的染色生物标志物，即CD20、FOXP3、PD1、CD8、CD163和PD-L1。在这些生物标志物中，CD20、CD8、PD1和CPS评分，与较长的OS有显著相关性，而CD163和FOXP3则表现出较短OS的趋势。在多变量Cox比例风险回归分析中，CD3、FOXP3、CD163和CPS评分，被确定为稳健的预后生物标志物，对应的回归系数分别为1.、-0.、-0.和0.49202。利用这些系数，团队使用以下公式，计算每位患者的综合评分：综合评分=1.×CD3–0.×FOXP3–0.×CD163+0.49202×CPS。综合评分与较长的OS显著相关（第

MAS实验预测不同生物标志物组合的定量比较

研究结论

03

本研究展示了预测mIF图像的预后价值，其提供效率和一致的性能；同时，提供与标准mIF染色相当的结果，并通过对肿瘤浸润免疫细胞的全面研究，阐明了对基于分子的癌症分类的新见解。肿瘤微环境中，不同免疫细胞亚群的定量，揭示了与化疗和免疫疗法（包括免疫检查点抑制剂）的预后和/或反应的关联。具体来说，在胃癌中，CD3+/CD8+ T淋巴细胞浸润与延长生存期相关，而 CD163+巨噬细胞的高患病率表明预后较差。这些观察结果强调了免疫细胞生物标志物在胃癌预后中的关键作用，并凸显了mIF染色在精确生物标志物评估中的潜力。该方法可以生成预测性mIF图像，捕获免疫细胞亚群分布并帮助识别预后因素，从而促进明智的临床决策。

先前的研究强调了免疫细胞评分，在指导胃癌化疗和免疫治疗决策中的重要性，本研究证实了这种方法的重要性。此外，PD-L1的表达水平，已成为一种关键的临床生物标志物，被广泛用于预测癌症患者的免疫治疗反应。然而，免疫细胞和PD-L1评分方法的临床实施，都受到其对耗时且昂贵的病理染色程序的依赖的阻碍。团队的生成式AI模型简化了该过程，能够快速且经济高效地生成多路染色图像，包括6种免疫细胞生物标志物和PD-L1。因此，本研究引入了一种可行的解决方案，可以解决与肿瘤浸润免疫细胞和PD-L1评分相关的挑战，同时显著减少时间和成本，从而改善癌症治疗的临床决策。

在今后的工作中，团队还有几项有价值的任务可以完成。例如，与传统mIF技术相关的大量时间和成本构成了巨大的障碍，限制了它们在研究各种生物标志物的诊断和预后影响方面的有效利用。团队所提出的虚拟mIF染色方法，为克服这一挑战提供了一个令人信服的解决方案，使研究人员能够探索广泛的生物标志物与多种疾病的诊断或预后之间的相关性。此外，AF成像中的不同波长可以捕获不同的信息，这可能会影响虚拟染色的效果。在未来的工作中，团队将探索不同波长选择与各种生物标志物染色性能之间的相关性。这项研究可以提供有价值的见解，并可能提高虚拟染色技术的准确性和有效性。

参考资料：

1. C. R. M.F.

in .

Nat Eng. 2022; 6: 527-540

2.Schürch C.M. Bhate S.S. G.L. et al.

at the front.

Cell. 2020; 182: 1341-1359.e19

【关于投稿】

转化医学网（）是转化医学核心门户，旨在推动基础研究、临床诊疗和产业的发展，核心内容涵盖组学、检验、免疫、肿瘤、心血管、糖尿病等。如您有最新的研究内容发表，欢迎联系我们进行免费报道（公众号菜单栏-在线客服联系），我们的理念：内容创造价值，转化铸就未来！

转化医学网（）发布的文章旨在介绍前沿医学研究进展，不能作为治疗方案使用；如需获得健康指导，请至正规医院就诊。