小罗碎碎念

今天分享的七篇文章，主题非常明确——人工智能在数字病理领域的发展情况。

前六篇文献选自<code>Nature，第七篇文献选自Cell，文献的发表时间从2019年跨越至2024年，囊括了AI在数字病理领域的里程碑式进展。

这期推文值得所有想从事病理组学的人反复研究，因为看完以后，你的底子会比之前扎实的多，对于未来技术的发展方向，也会有一个更清晰的判断。还有，这篇文章读起来也会很有趣，因为我是按时间顺序排列的，你会发现前一篇文献展望的部分，可能马上就出现在后面的文章中。并且，你可以明显的察觉到AI可以完成临床任务越来越复杂，从最基础的分类，再到现在肿瘤微环境以及基因组学的分析……

好了，多的不说了，留着你们自己去体会吧，我接下来几天，会用七篇推文，把这七篇文献仔细分析一遍，敬请关注。我是罗小罗同学，我们明天见！！

---

交流群

欢迎大家来到【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前群内成员已达三位数，大部分来自全国百强医院/前50院校。此外，小罗也借助自媒体，与华盛顿大学、北大、北航、华科、北科、南方医等院校的课题组建立了联系，欢迎更多的人加入我们的队伍！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位，即可邀您入群。

---

一、2019|多实例学习在无需像素级注释的情况下，大规模训练分类模型

---

文献概述

这篇文章讨论了在病理学领域应用深度学习技术的最新进展，特别是在<code>弱监督学习框架下对整个切片图像（Whole Slide Images, WSIs）进行分析的研究。

文章强调了病理学在现代医学，尤其是癌症治疗中的核心作用，但指出传统的显微镜诊断方法一个世纪以来几乎没有变化。随着数字病理学的出现，通过数字切片扫描仪将玻璃切片数字化，为病理学家提供了一个潜在的新标准，使得计算病理学领域得以发展。

文章着重介绍了一种基于多实例学习（Multiple Instance Learning, MIL）的深度学习系统，该系统仅使用报告的诊断作为训练标签，避免了昂贵且耗时的逐像素手动注释。研究者们评估了这一框架在未经任何形式筛选的44,732张切片图像数据集上的表现，并针对前列腺癌、基底细胞癌和乳腺癌转移至腋窝淋巴结的测试结果显示出超过0.98的曲线下面积（AUC）。

这项研究的主要贡献是提出了一种新框架，可以在不需要像素级注释的情况下大规模训练分类模型。研究者们收集了三个大规模的计算病理学数据集，包括前列腺核心活检数据集、皮肤数据集和乳腺癌转移至淋巴结的数据集，每个数据集的规模都远远超过了该领域其他数据集。研究者们还展示了如何使用循环神经网络（Recurrent Neural Network, RNN）来整合整个切片的信息，并报告最终的分类结果。

文章还讨论了模型在不同放大倍数下的测试性能，以及如何通过不同的聚合策略来提高模型的鲁棒性。此外，研究者们还探讨了数据集大小对分类准确性的影响，并通过可视化技术来洞察模型对组织病理学图像的特征表示。

最后，文章强调了这项研究对于临床实践的意义，提出了临床级决策支持系统的概念，并与传统的全监督学习方法进行了比较。研究表明，即使在小规模、精心策划的数据集上训练的深度学习模型，也无法很好地泛化到临床级别的、真实世界的数据中。因此，文章提出的弱监督学习方法在训练大规模、多样化的数据集时具有明显的优势，无需数据筛选。

---

重点关注

Fig. 1 提供了这项研究中使用的数据和提出的深度学习框架的概述。

以下是对图的各部分的分析：

a. 数据集描述：

研究基于来自15,187名患者的44,732张切片，涵盖三种不同的组织类型：前列腺、皮肤和腋窝淋巴结。前列腺数据集被分为内部切片和会诊切片，以测试染色偏差。类别不平衡比例从前列腺的1:4到乳腺癌的1:3不等。共有17,661张切片来自超过800家外部机构，这些机构遍布45个国家，提交给MSK（纪念斯隆凯特琳癌症中心）进行二次诊断。为了将数据集的规模放入上下文中，最右列显示了与计算机视觉领域最先进的ImageNet数据集的像素数量比较，ImageNet包含超过1400万张图像。

---

b. 前列腺腺癌的切片示例：

左侧是显示前列腺腺癌的苏木精-伊红染色的活检切片。诊断基于占组织表面积不到1%的非常小的癌症灶。在左侧的切片中，仅存在大约六个小的肿瘤腺体。最右侧的图像显示了一个恶性腺体的例子。通过展示恶性腺体与整个切片的关系，强调了任务的难度。

---

c. 多实例学习（MIL）训练过程：

MIL训练过程包括对整个数据集进行完整的推理传递。根据它们是阳性的概率对瓦片进行排名。根据每个切片中排名最高的瓦片进行学习。CNN代表卷积神经网络，用于学习瓦片级别的特征表示。

d. 切片级别的聚合与循环神经网络（RNN）：

RNN用于切片级别的聚合，将每个切片中最可疑的S个瓦片按顺序传递给RNN。RNN预测最终的切片级别分类。

综上所述，Fig. 1 展示了一个大规模的、多样化的数据集，以及一个深度学习框架，该框架通过MIL和RNN技术来提高病理切片的自动诊断能力。这个框架旨在通过减少需要病理学家审查的切片数量，同时保持高灵敏度，从而提高病理诊断的效率和准确性。

---

二、2021｜人工智能在组织病理学领域应用的综述

---

文献概述

这篇文章是关于人工智能（AI）在组织病理学领域应用的综述。

文章讨论了AI如何在过去5年中对全球社会产生重大影响，特别是在医学诊断领域，如放射学和病理学。AI在诊断学科中的应用前景非常乐观，因为这些领域通常依赖于医生对数据模式的识别，例如图像，并在更广泛的患者背景下解释这些模式。然而，研究表明，医生间在许多诊断任务上的一致性并不理想，而且随着治疗选择的增加，需要更准确的诊断来满足精准医学的需求，这超出了人类视觉检查的能力。

组织病理学图像分析，也称为计算病理学（CPATH），是AI应用的一个特别吸引人的领域。目前，CPATH的应用主要依赖于深度神经网络（即深度学习）。研究始于20世纪60年代，最初应用于细胞图像分析算法。传统上，CPATH应用尝试实现与生物学过程或形状精心匹配的计算特征，后来被使用通用特征库的放射组学或病理组学方法所取代。

文章强调了从特征工程到深度学习的转变，主要原因包括：通过训练而非显式编程或使用预定义过滤器来构建算法，可以产生强大的、层次化的特征表示，这些特征表示在大多数情况下，表现优于更传统的图像分析方法。深度学习减少了需要领域知识以取得良好结果的需求，因为特征工程需要定义特定问题的特定特征，而在深度学习中，网络从数据中自动学习有意义的特征。自动从数据中学习特征还减少了实施时间。

文章还讨论了CPATH在临床实践中的应用，包括肿瘤检测和分类、图像分割、细胞检测和计数、有丝分裂检测、肾脏移植活检分析和肿瘤分级等。CPATH方法可以自动化重复性和耗时的任务，例如通过活检获得的组织样本分析，以及扩大淋巴结切除术中病理医生的临床工作量优化。

尽管CPATH领域取得了显著进展，但仍存在许多挑战，包括缺乏真正代表临床实践的公共数据集，以及在解释CPATH算法工作原理方面的困难。文章强调了提高CPATH算法的泛化能力至临床实践的重要性，并提出了一些解决方案，如建立包含各种变异的训练集，以及使用数据增强技术和图像标准化。

文章最后讨论了CPATH算法的验证、未来发展的方向、可解释性AI、伦理问题以及监管问题。尽管CPATH算法在许多研究中显示出有希望的结果，但要证明其临床效用还有很长的路要走。文章预计CPATH在未来的组织病理学中将发挥主导作用，使诊断更加高效和准确，并帮助病理医生满足日益增长的患者数量和更广泛的治疗选择的需求。

---

重点关注

Fig. 1 展示了一种基于卷积神经网络（CNNs）的计算病理学（CPATH）算法在肾脏组织分割方面的应用。

该图由三个部分组成：

a. 原始图像：这是一张经过周期酸-席夫染色（periodic acid–Schiff-stained）的肾脏组织切片的原始显微镜图像。在这个图像中，可以看到肾脏的不同结构，如肾小球（glomeruli）、肾小管（tubuli）、毛细血管（capillaries）等，但它们并没有被明确区分或标记。

---

b. 专家手动注释的原始图像：同一张肾脏组织切片图像，但这次是由专家手动进行了注释。不同的肾脏结构以不同的颜色进行了标记，以便于区分。这种注释通常用于作为训练和验证CPATH算法的参考标准。

---

c. 使用深度学习算法处理后的图像：展示了应用CPATH算法后的分割结果。深度学习模型成功地识别并分割了图像中的不同肾脏结构，并且以不同的颜色进行了标记，与专家的注释相似。

具体的颜色代表如下：

无额外颜色：表示间质（interstitium）；紫色：表示肾小球（glomerulus）；红色：表示硬化肾小球（sclerotic glomerulus）；深蓝色：表示近曲小管（proximal tubule）；橙色：表示远曲小管（distal tubule）；绿色：表示萎缩小管（atrophic tubule）；绿松石色：表示动脉或小动脉（artery or arteriole）。

这个图说明CPATH算法能够有效地对组织切片图像进行自动分割和分类，这对于病理诊断和研究具有重要意义。

通过自动化这一过程，不仅可以提高效率，还可以增加可重复性，并揭示通过传统显微镜检查难以观察到的细节。此外，这种技术的发展和应用有望减轻病理医生的工作负担，并为精准医疗提供支持。

---

三、2021｜基于注意力机制，无需手动提取ROI区域，利用患者级标签即可训练模型

---

文献概述

这篇文章讨论了一种名为CLAM（Clustering-Constrained Attention Multiple-Instance Learning）的深度学习框架，它是为了解决在计算病理学中分析全切片图像（WSIs）时面临的关键挑战而设计的。

这些挑战包括需要手动注释的庞大数据量、对不同数据源和成像设备的适应性差，以及模型的可解释性。CLAM方法不需要手动的感兴趣区域（ROI）提取、像素/块级别的标记或简单的抽样，它数据高效、可解释、适应性强，并且通常适用于二元分类和多类亚型问题。

CLAM利用基于注意力的学习来识别具有高诊断价值的子区域，以准确分类整个切片，并通过实例级聚类约束和细化特征空间。在对<code>肾细胞癌（RCC）和非小细胞肺癌（NSCLC）亚型以及检测淋巴结转移的三个独立分析中，CLAM展示了其数据效率，即使在使用系统减少的训练标签数量的情况下，也能在不同任务中实现高性能。此外，CLAM的适应性表现在，训练在组织切除WSIs上的模型可以直接应用于活检WSIs，以及使用独立测试队列的数据，通过消费级智能手机拍摄的显微照片。

研究还展示了CLAM如何扩展到多类分类和亚型问题，超出了弱监督设置中通常研究的二元肿瘤与正常分类任务。CLAM是公开可用的，作为一个易于使用的Python包在GitHub上提供，并且可以在交互式演示中查看整个切片级别的注意力图。

此外，文章还讨论了CLAM在独立测试队列中的泛化性能，以及如何适应不同的扫描仪硬件和智能手机显微镜图像。研究结果表明，使用CLAM，可以从多个机构策划的适度大小的数据集中开发出准确、弱监督的计算机辅助诊断模型，并且能够推广应用。研究还探讨了如何提高模型的可解释性，以及如何将训练有素的模型适应于活检切片和智能手机显微镜图像。

最后，文章讨论了CLAM在计算病理学中的应用前景，并指出了未来研究的方向，包括开发数据高效的弱监督方法，用于生存预测、处理带有噪声标签的数据、处理极少量标记数据的预测，以及不确定性估计和人工决策制定的预测。弱监督计算病理学更接近于临床应用，因为它只需要用于临床目的的切片或患者级别的标签。通过CLAM方法提高的数据效率有助于减少弱监督和训练所需的标记切片数量之间的权衡。

---

重点关注

Fig. 1 展示了CLAM（Clustering-Constrained Attention Multiple-Instance Learning）概念框架、架构和可解释性的概览。

以下是对图的各部分的分析：

a. 图像分割和块提取：在WSI（Whole-Slide Image，全切片图像）处理的初始阶段，首先进行组织区域的自动分割。分割后，从WSI的组织区域内提取图像块（patches）。这些图像块是输入数据的基本单位，将用于后续的特征提取和分析。

---

b. 特征表示：提取的图像块通过一个预训练的卷积神经网络（CNN）进行编码，转换成描述性的特征表示。这些特征向量捕捉了图像块中的重要信息，它们将在训练和推理（inference）阶段被用于CLAM模型。

---

c. 注意力网络和多实例学习：CLAM模型使用注意力网络来整合图像块级别的信息，形成切片级别的表示。注意力网络为每个类别的WSI中的每个区域分配一个基于其对诊断重要性的注意力分数。这些分数用于加权图像块，通过注意力池化（attention pooling）将块级特征汇总为切片级表示。在训练过程中，根据真实标签，高度关注的（红色）和关注度低的（蓝色）区域可以作为代表性样本，用于指导聚类层学习丰富的块级特征空间，以便在不同类别的正例和负例之间实现可分离性。

---

d. 注意力图可视化：注意力分数可以通过热图的形式可视化，以识别感兴趣区域（ROIs），并解释用于诊断的重要形态学特征。热图中高关注度区域（红色）表示模型认为对诊断决策贡献较大的区域，而低关注度区域（蓝色）则表示对诊断贡献较小的区域。

总体而言，Fig. 1 展示了CLAM如何通过结合深度学习、注意力机制和多实例学习来分析全切片图像，并提供了一种可解释的方法来理解模型是如何做出诊断预测的。通过这种方式，CLAM能够在不需要像素级注释的情况下，有效地从WSI中学习和识别具有诊断价值的区域。

---

四、2022｜AI与人类病理学家在前列腺癌分级上的较量

---

文献概述

这篇文章描述了一项名为PANDA挑战的研究项目，该项目是迄今为止规模最大的组织病理学竞赛，旨在开发和验证用于前列腺癌Gleason分级的人工智能(AI)算法。

Gleason分级是一种为<code>前列腺癌患者提供重要预后信息的系统，对治疗规划至关重要。然而，传统的分级方法具有主观性，并存在病理学家间的变异性。AI算法在前列腺癌的诊断和Gleason分级方面展现出潜力，但它们在多国环境中的验证和应用受到限制。

PANDA挑战吸引了来自65个国家的1290名开发者组成的1010支队伍参加。研究团队使用了10616张数字化前列腺活检切片，这些切片来自荷兰和瑞典的两个研究中心。竞赛阶段结束后，选出的15个团队的算法在两个独立的外部验证数据集上进行了评估，这些数据集来自美国和欧洲的医疗机构，并且完全对算法开发者保密。

研究结果显示，多种提交的AI算法在独立的跨大陆队列上达到了病理学家级别的性能，与专家泌尿病理学家的一致性分别为0.862（美国队列）和0.868（欧洲队列）。这表明AI算法能够成功地检测和分级肿瘤，并且具有高度的敏感性和特异性。此外，这些算法与一般病理学家的比较表明，它们在与参考标准一致性方面与病理学家相似或更高。

尽管存在一些限制，例如只能包括15个团队进行验证阶段，以及算法在临床实践中的应用评估需要进一步研究，但PANDA挑战证明了AI在前列腺癌诊断和分级方面的潜力，并为未来在临床试验中评估AI的使用提供了依据。研究团队还提供了一个公共数据集，以促进进一步的研究和AI算法的开发。

文章最后指出，尽管本研究的评估具有国际性质，但参与的国家主要是白人国家，且并非所有数据集都提供了人口统计特征。未来的研究需要在更多样化的环境中验证AI算法的使用。研究没有直接评估算法分级与根治性前列腺切除术或临床结果的关联。作者设想未来病理学家可以由这些算法辅助，以数字同事的形式存在。为了促进该领域的进一步发展，已经公开了10,616个活检的完整开发数据集，供非商业研究使用。

---

重点关注

Fig. 1 提供了PANDA挑战和研究设置的概述。这个全球性竞赛吸引了来自65个国家的参与者（每个国家的圆形大小表示参与者的数量）。研究分为两个阶段。

首先，在开发阶段（左下角），团队竞争开发性能最佳的Gleason分级算法，他们可以完全访问用于算法训练的开发数据集，并有限地访问用于估计算法性能的调整数据集。这个阶段是算法设计和优化的关键时期，团队利用提供的数据集来训练和微调他们的AI模型。

其次，在验证阶段（右下角），选择了一些算法进行独立评估。这些算法在内部和外部数据集上的表现被评估，这些数据集是独立于竞赛阶段，并且对团队保密。算法的表现是与专家泌尿病理学家小组通过共识得出的参考分级进行比较的，并且与国际和美国的一般病理学家小组在数据子集上的表现进行了比较。这个阶段的目的是验证算法在实际临床环境中的准确性和泛化能力。

---

五、2022|AI辅助基因组分析，揭示肿瘤微环境对于肿瘤演变的重要意义

---

文献概述

这篇文章是关于人工智能（AI）在组织病理学中的应用，以及它如何增强癌症研究和临床肿瘤学的发展。

文章由德国癌症研究中心（DKFZ）的AI肿瘤学部、英国剑桥的欧洲分子生物学实验室（EMBL-EBI）、德国亚琛的RWTH亚琛大学医院第三医学部、德国海德堡大学医院的肿瘤中心、英国利兹大学詹姆斯医学院的病理学和数据分析部、以及德国德累斯顿工业大学的Else Kroener Fresenius数字健康中心的研究人员共同撰写。

文章首先指出，恶性肿瘤是复杂、异质性的多细胞生态系统，理解不同细胞类型之间的相互作用以及肿瘤的演变和生态学对于有效的癌症治疗至关重要。过去几十年里，基因组学、转录组学和蛋白质组学分析已成为癌症研究的焦点，并开始进入临床常规。肿瘤的组织学表型是另一层关键数据，它与基因组、转录组和蛋白质组相结合，对癌症诊断至关重要。计算病理学指的是AI在组织病理学中的计算机基础图像分析应用，这些方法在过去几年中得到了发展和广泛采用。

文章强调了计算病理学方法能够从组织学表型中提取信息，从而实现广泛的新的研究和诊断应用。这一能力是组织病理学和分子诊断领域的快速技术进步，以及过去几十年来计算机视觉和生物信息学方法创新的结果。新的高通量技术使得在全面的分子水平上研究多样的肿瘤属性成为，这些技术能够生产出日益精确和丰富的肿瘤及其微环境的特征描述。

文章还讨论了深度学习算法，特别是卷积神经网络（CNNs），它们在计算机视觉和图像分类中特别适用。CNNs能够自动化特征提取和学习关联，使得AI能够直接从图像中进行预测，而不依赖于手动设计的中间步骤。

文章进一步探讨了AI在癌症研究和诊断中的应用，包括自动化诊断任务、预测治疗反应、推断基因改变和基因表达。AI能够从常规的组织病理学图像中预测癌症结果和治疗反应，并推断一些基因改变。AI的能力不仅限于图像分类，生成模型可以再现图像本身，并提供新的机会，包括高效和安全地训练模型。

文章还讨论了AI在癌症研究和诊断中的应用，包括自动化常规组织病理学工作流程、扩展传统能力、预测结果和治疗反应、预测基因改变和基因表达，以及预测肿瘤克隆性和空间异质性。此外，文章还提到了计算病理学中的一些方法学创新，如减少对标记训练数据的需求、生成模型和合成数据、学习空间异质模式、保护隐私的AI模型训练等。

最后，文章讨论了AI在临床实施方面的进展和挑战，包括质量控制和鲁棒性、AI系统中的偏见、AI系统的可解释性和合理性、临床AI工作流程以及临床实施的监管要求。文章指出，尽管AI在癌症研究中得到了广泛应用，并且在临床部署方面取得了进展，但在将研究成果转化为临床应用时仍需要采取额外的预防措施。

文章总结认为，结合计算机视觉、分子病理学、基因组学和生物信息学的快速发展，计算病理学使研究人员和临床医生能够以前所未有的细节和规模量化癌症的组织病理学。AI算法为从大量的分子和组织病理学数据中提取生物学和临床相关信息提供了框架。

尽管AI不太完全取代基因组分析，但它可以作为一种现成的初步诊断工具，提供评估未知重要性的基因组改变是否产生预期表型的能力，并提供空间上下文。文章强调，随着AI在组织病理学中的第一批算法进入临床应用，需要克服一些障碍，包括国际数据共享、更强大的AI算法和创新的分布式学习方法，以及数据共享框架和标准化。

---

重点关注

Fig. 1 展示了基于AI的计算病理学的临床应用，并分为三个部分：

a. 实体瘤的多层次构成：

这部分说明了实体瘤（solid tumors）不是均质的，而是由多层不同的细胞和组织构成的复杂结构。每个层次代表肿瘤内不同的生物学特性，比如肿瘤核心、侵袭边缘、基质细胞、血管生成等。

b. AI在组织病理学图像分析中的应用层级：

这部分描述了AI技术在组织病理学图像分析中的多种应用，这些应用按照成熟度和技术发展阶段被组织成层级结构。包括从基础的图像分类、肿瘤检测到更高级的预后预测、治疗反应评估等。

---

c. 不同研究领域的并行发展及其在计算病理学中的汇聚：

这部分展示了不同研究领域（如组织病理学、分子病理学、计算机视觉、生物信息学/基因组学）是如何并行发展的，并且它们的发展最终汇聚形成了计算病理学这一跨学科领域。列出了关键技术发展的里程碑，例如免疫组化（IHC）、原位杂交（ISH）、荧光原位杂交（FISH）、基因拷贝数（CN）、下一代测序（NGS）、序列比对工具（BLAST、BWA-mem）、基因表达分析（DESeq2)等。

整体而言，Fig. 1 强调了AI在计算病理学中的重要性和多方面应用，以及多个学科如何共同推动了这一领域的进步。通过整合这些不同的技术和方法，AI在提高癌症诊断的准确性、效率和深度方面具有巨大潜力。

---

六、2023｜数字和计算病理学中人工智能应用的综述

---

文献概述

这篇文章是关于数字和计算病理学中人工智能应用的综述。

文章首先介绍了数字化组织切片和人工智能，尤其是深度学习在计算病理学领域的快速发展。这些技术在自动化临床诊断、预测患者预后和治疗反应，以及从组织图像中发现新的形态学生物标志物方面具有巨大潜力。一些基于AI的系统现在已获批准辅助临床诊断，但仍存在技术障碍，限制了它们在临床广泛应用和作为研究工具的整合。

文章分为几个部分，包括引言、深度学习在CPath（计算病理学）中的应用、CPath的临床影响、未来展望和结论。作者强调了深度学习在预测临床终点（如癌症亚型、患者生存或基因突变）以及作为辅助病理学家和研究者的AI工具方面的方法学贡献。此外，还讨论了组织预处理、WSI（全切片图像）分类、多实例学习（MIL）以及上下文感知方法等技术细节。

文章指出，尽管CPath在病理研究和精准医疗方面取得了进展，但仍有成长空间。计算机视觉研究的进步不断提供新的方法来改进CPath算法，例如使用<code>视觉变换器和自监督学习。精准医疗的转变要求越来越多的检测方法，这增加了每位患者收集的数据量，可以整合到CPath工作流程中。

文章还讨论了CPath在自动化临床工作流程和指导生物医学研究中的两个主要目标。在临床实践方面，CPath旨在重现和增强病理学家日常执行的形态学定义明确的任务。在生物医学研究方面，CPath框架用于发现与分子变化、患者预后和治疗反应预测相关的形态学特征。

最后，文章提出了未来展望，包括数据获取和处理的进步、构建新的AI方法以及临床部署的转化考虑。作者强调，为了CPath在临床实践和生物医学研究中产生影响，必须以构建大规模、多样化和多模态队列以及通过更好的深度学习框架推进组织表示学习为目标。这些目标不太在单一组织的限制内实现，需要多机构数据收集倡议、开源软件包以及计算机视觉和AI研究的持续技术启发的共同努力。

文章最后声明了引用多样性声明，作者们承认历史上被排除群体的学者所撰写的论文在引用上存在系统性的不足，并努力以公平的方式引用相关论文，考虑种族、族裔、性别和地理代表性。

---

重点关注

Fig. 1 在文章中提供了计算病理学（CPath）应用、里程碑和趋势的概览。

以下是对图中三个部分的分析：

a. CPath应用概览：

此部分展示了CPath的多种应用，包括但不限于癌症亚型分类、患者生存预测、基因突变预测、组织图像的自动分析等。展示了CPath如何利用数字化的组织切片图像（WSIs）进行深度分析，以及它如何帮助自动化临床任务和发现新的生物标志物。

---

b. 数字诊断和AI进展的时间线：

这部分概述了过去几十年中数字诊断和人工智能（AI）取得的重大进展，这些进展为CPath产生了临床影响奠定了基础。时间线包括关键的技术创新、重要的研究突破、监管批准的产品或系统，以及AI集成到CPath中的重要转变点。

---

c. CPath从传统机器学习到深度学习的转变：

此部分描述了CPath如何从基于小样本感兴趣区域（ROIs）的传统机器学习（ML）模型转变为使用大型、有时是多模态的、多机构的WSIs数据集训练的深度学习模型。强调了更高维度的病理数据（如为每位患者收集的纵向WSIs和3D组织图像）预计将越来越受到重视。说明了病理工作流程的数字化、丰富的计算资源、公共数据集以及AI和计算机视觉的进步是如何支持这一转变的。

这些技术是CPath领域发展的关键因素，它们共同推动了从传统诊断方法到基于AI的高级分析的转变，提高了病理诊断的准确性和效率，并为个性化医疗和精准医疗提供了支持。

---

七、2024｜3D病理如何革新癌症预后

---

文献概述

这篇文章介绍了一个名为<code>TriPath的3D病理深度学习平台，它用于临床终点预测。TriPath利用弱监督人工智能（AI）分析3D病理样本，以预测患者的复发风险。

研究发现，与基于2D切片的方法相比，使用3D组织体积进行患者预后可以显著提高性能，因为它能更好地采样异质性组织并提取3D形态特征。

主要亮点包括

TriPath是一个用于临床终点预测的3D病理深度学习平台。3D组织体积的预后优于2D切片方法。3D预后优于病理医师的基线标准，显示出其临床潜力。更大的组织体积可以减少采样偏差，并考虑到组织的异质性。TriPath通过将大型输入组织体积划分为较小的实例集，并将其总结为单一的低维特征向量，从而实现对患者级别临床终点的预测。TriPath不依赖于成像方式，可以灵活适应2D和3D分析，以满足不同任务的需求。

通过对前列腺癌样本的训练，TriPath展示了其在风险分层模型中的有效性，这些样本通过开放顶部光片显微镜或微型计算机断层扫描成像。TriPath的性能在不同的3D成像方式和临床基准测试中得到了验证，包括与六位经过认证的泌尿生殖系统病理医师的读片研究比较。

研究表明，3D病理学在临床决策支持中的应用前景广阔，可以作为引导病理医师选择高风险2D截面的工具，或者作为自动化决策支持的完全替代。尽管3D病理学是一个新兴领域，但本文开发的技术和方法支持了其临床转化的可行性，并为未来的研究提供了基础。

文章还讨论了3D病理学在临床实践中的潜在应用，包括开发基于3D病理学的实验室开发测试（LDTs），这些测试将完全无损于宝贵的组织样本。该研究的局限性包括临床队列的大小相对较小，以及需要进一步的大规模验证研究来实现3D病理学的愿景。

文章最后强调了TriPath作为开发临床可转化的计算3D病理检测方法的关键步骤，并预示着3D生物标志物发现和临床检测开发的新时代。

---

重点关注

Figure 1展示了TriPath计算工作流程，这是一个用于分析3D病理样本的深度学习平台。

以下是对图1各部分的详细分析：

(A) 3D成像技术：

这一部分说明了3D成像技术能够捕获组织样本的高分辨率体积图像。这些图像是三维的，能够提供比传统2D切片更全面的组织结构信息。

---

(B) TriPath输入与预处理：

TriPath接受来自不同成像技术（如3D显微镜或microCT）的原始体积图像作为输入。首先，TriPath将组织体积图像从背景中分离出来。在标准的工作流程中，分割后的体积被视为一系列3D立方体（3D平面）的堆叠，并进一步细分为更小的3D补丁（实例）。此外，分割体积也可以被视为2D平面的堆叠，并细分为更小的2D补丁。

---

© 特征提取与聚合：

这些补丁随后通过预训练的特征编码器网络进行处理，例如3D卷积神经网络(CNN)或3D视觉变换器(ViT)。这些网络利用迁移学习来产生一组紧凑且具有代表性的特诊。在图中以3D CNN为例说明了特征编码过程。编码后的特征通过一个领域适应的浅层、全连接网络进行压缩。然后，一个聚合模块将代表所有实例的特征集合起来，自动根据它们对贡献于体积级特征的重要性进行加权，从而生成患者级别的预测。TriPath还提供显著性热图，用于临床解释和验证。

进一步细节：

文中提到，TriPath的计算工作流程在2D处理时是相同的。NN代表依赖于所选特征编码器的通用神经网络层；通道C、K是特征编码器中的中间通道；Attn是注意力模块；Fc1、Fc2是全连接层。

总的来说，Figure 1展示了TriPath如何从3D病理图像中提取特征，并使用深度学习技术进行风险评估和临床决策支持。TriPath的设计允许它处理来自不同成像技术的数据，并能够从3D角度提供更全面的组织分析。