小罗碎碎念

这期的主题是AI+三级淋巴结在预后分析中的研究进展，选取的都是近三年的文章。

在没有仔细分析这几篇文章的时候，单纯从文献的检索结果来看，AI+三级淋巴结的研究相对偏少。下意识就容易认为这个方向可能不行，但是仔细分析一下以后，会发现可能不是方向不行，而是有实力且愿意做深入研究的课题组不多——这几篇文章大多涉及多重免疫荧光技术，流程比较繁琐，但是不走这个流程，最终模型效果又可能上不去。

关于三级淋巴结的临床研究，很多都发表在NCS的正刊上的，这里列举三篇Nature和Science的文章。

从临床角度来看，三级淋巴结的研究最后落脚点在肿瘤免疫，所以我们很容易在相关的研究中看到一些图，展示三级淋巴结指标可以区分免疫治疗响应与不响应的患者。另外，还以联系上免疫表型的分类，直接从预后分析衍生到个性化治疗——精准医疗；从工科角度来看，三级淋巴结的分析会涉及到肿瘤区域、细胞核的分割和分类，这些都是非常具有研究意义的方向，并且还可以把虚拟染色结合起来。

最后，再提一嘴最近的一个发现，我发现大部分IF相对较低的文章，模型的每个模块都是独立的——用不同的软件/工具完成，而发表在顶刊的文章，几乎都是集成的模型——即所谓的端到端模型。以上观点仅代表个人，水平有限，如果错误，欢迎批评指正！！

PS：在写这期推文时，猛然发现某一篇文章的作者名字有些眼熟，然后打开微信开始查找联系人，原来是交流群的群友，哈哈。

一、提高胰腺肿瘤病理图像中三级淋巴结构检测准确性的新型弱监督网络

一作&通讯

以下是第一作者和通讯作者的相关信息，以表格形式列出：

文献概述

这篇文章是关于一种用于检测胰腺肿瘤病理图像中的三级淋巴结构（TLSs）的弱监督分割网络。

TLSs的存在是胰腺肿瘤预后的重要指标，因此，在胰腺肿瘤的诊断和治疗中，对TLSs的检测起着至关重要的作用。然而，基于深度学习的全监督检测算法通常需要大量的手动标注，这既耗时又费力。为了解决这个问题，文章提出了一种弱监督分割网络，通过少量的标记学习（few-shot learning）来检测TLSs。

研究者们首先通过结合预训练的核分割模型和领域对抗网络来获得淋巴细胞密度图。然后，他们建立了一个跨尺度注意力引导机制，通过联合学习原始组织病理学图像的粗尺度特征和设计的淋巴细胞密度注意力的细尺度特征。

此外，他们引入了一个对噪声敏感的约束，通过嵌入有符号距离函数损失来减少微小的预测误差。实验结果表明，所提出的方法在TLSs检测准确性方面显著优于现有的最先进的基于分割的算法。此外，研究者们还应用这种方法来研究TLSs密度与胰周血管侵犯之间的一致性关系，并获得了一些临床统计结果。

文章还讨论了该方法的局限性，包括在某些情况下可能会将淋巴结区域误识别为TLSs，因为它们具有高淋巴细胞核密度。未来的工作将包括进一步的改进，以及将该方法应用于其他疾病（如肺癌或乳腺癌）的TLS检测任务。

简要分析

Fig. 1 展示了所提出的用于胰腺癌TLSs弱监督分割的网络流程图，该网络嵌入了跨尺度注意力引导和噪声敏感约束。

以下是对该流程图的分析：

输入数据：流程的开始是接收来自患者的苏木精-伊红（H&E）染色的组织病理学全幻灯片图像（WSIs）。

淋巴细胞核分割和分类：

使用预训练的HoVer-Net模型进行核分割，该模型在PanNuke数据集上进行了训练，用于分割图像中的细胞核。通过领域对抗神经网络（DANN）进行淋巴细胞核的分类，以区分淋巴细胞核和其他类型的细胞核。

淋巴细胞密度图的构建：

基于淋巴细胞核的分割和分类结果，构建淋巴细胞密度图。这个密度图反映了病理图像中TLSs的分布特征。

跨尺度注意力引导机制：

通过联合学习原始H&E图像的粗尺度特征和淋巴细胞密度图的细尺度特征，建立跨尺度注意力引导网络。该网络利用U形网络架构，输入包括原始H&E图像和淋巴细胞密度注意力（LDA）图，以学习不同尺度的TLS特征。

噪声敏感约束：

引入噪声敏感约束，通过嵌入有符号距离函数（SDF）损失来训练分割网络，这有助于网络明确学习TLS的位置分布，并减少微小预测误差对性能的影响。

输出：网络的输出是TLSs的分割结果，这些结果可以用于进一步的临床分析，例如研究TLSs密度与胰周血管侵犯之间的关系。

整体而言，Fig. 1 描述了一个从原始病理图像到TLSs分割结果的完整处理流程，强调了跨尺度特征学习和噪声敏感约束在提高分割准确性中的重要性。这个过程体现了弱监督学习在减少对大量精确标注数据依赖的同时，如何有效地进行TLSs的检测。

关键问题

领域对抗神经网络（DANN）如何进行淋巴细胞核的分类？

领域对抗神经网络（Domain Adversarial Neural Network, DANN）是一种用于领域适应（domain adaptation）的深度学习框架，它旨在通过对抗训练来减少源域（有标注数据）和目标域（无标注数据）之间的分布差异。

在这篇文章中，DANN被用来分类淋巴细胞核，具体步骤如下：

网络结构：DANN通常包含一个特征提取器（通常是深度神经网络，如ResNet），一个类别分类器（用于分类不同的细胞核类型），以及一个领域判别器（用于区分数据来自源域还是目标域）。

对抗训练：

类别分类损失：首先，网络在有标注的源域数据上进行训练，以学习区分淋巴细胞核和其他类型细胞核的特征。这个过程中使用的是交叉熵损失函数，即L_cls，它衡量模型对类别预测的准确性。领域判别损失：同时，领域判别器尝试识别数据的来源域，而特征提取器和类别分类器则尝试“欺骗”领域判别器，使其无法区分数据来自源域还是目标域。这个过程通过领域判别损失函数，即L_adv，来实现。

损失函数：

总体损失函数LDANN是类别分类损失和领域判别损失的组合，即LDANN = L_cls + L_adv。这样，网络在训练过程中既要提高对类别的分类准确性，也要减少特征的领域可辨性。

数据准备：

从有标注的源域数据集中裁剪出淋巴细胞核图像和非淋巴细胞核图像。从目标域数据集中获取未经分类的细胞核图像，这些图像是通过预训练的HoVer-Net模型分割得到的。

训练策略：

使用源域数据作为已知类别的数据，目标域数据作为未知类别的数据，训练DANN以识别淋巴细胞核。通过这种方式，网络学习到的特征不仅能够区分不同的细胞核类型，而且还能够适应目标域的数据分布，即使目标域数据没有明确的类别标注。

应用：

训练完成后，DANN可以应用于目标域数据，即胰腺病理图像，以识别和分类淋巴细胞核。

通过这种对抗训练策略，DANN能够提高模型对新领域数据的泛化能力，从而在没有大量标注数据的情况下，也能准确地分类淋巴细胞核。这种方法特别适用于医学图像分析中的数据稀缺问题。

二、新辅助治疗对胰腺癌肿瘤内三级淋巴结构及患者预后的影响

一作&通讯

文献概述

这篇文章研究了胰腺导管腺癌中肿瘤内三级淋巴结构的细胞特性和预后意义，发现这些结构的存在与未接受新辅助治疗的患者的更好预后相关，而新辅助治疗可能会削弱这些结构的保护作用。

研究方法包括对380名未接受术前治疗的PDAC患者和136名接受新辅助治疗（NAT）的患者的手术切除肿瘤组织进行荧光多重免疫组化染色。通过机器学习和图像处理平台处理多光谱图像，识别和量化TLS区域和细胞。研究比较了PDAC中TLSs的细胞组成和免疫学特性，并进一步检验了它们与预后的关系。

研究结果显示，在未接受术前治疗的患者中，21.1%的患者存在肿瘤内TLSs，而在NAT组中这一比例为15.4%。在未接受术前治疗的患者中，肿瘤内TLSs的存在与改善的总生存期（OS）和无进展生存期（PFS）显著相关。此外，肿瘤内TLSs与邻近组织中浸润的CD8+ T细胞、CD4+ T细胞、B细胞和活化免疫细胞水平升高相关。研究还生成了一个包含TLS存在作为变量的列线图模型，成功预测了外部验证队列中PDAC患者的OS。

在NAT组中，样本显示肿瘤内TLSs中B细胞比例较低，调节性T细胞比例较高。此外，这些TLSs尺寸较小，整体成熟度较低，免疫细胞活化减少，TLS存在在NAT队列中的预后价值不显著。

研究结论指出，该研究系统地揭示了PDAC中肿瘤内TLSs的细胞属性和预后价值，并描述了NAT对TLS发展和功能的潜在影响。研究表明，新辅助化疗可能会损害肿瘤内TLSs的保护作用，因此在临床管理接受术前治疗的PDAC患者时应考虑这一点。

简要分析

Figure 1 展示了手术未接受新辅助治疗（SA）的胰腺导管腺癌患者中肿瘤内三级淋巴结构（TLSs）的代表性结构。

以下是对该图的分析：

(A) 部分显示了通过苏木精-伊红（H&E）染色的肿瘤组织中TLSs的图像。TLSs用点状红线圈出，比例尺为100微米（µm），表明了TLSs在肿瘤组织中的位置和形态。

(B) 部分展示了使用inForm软件对TLSs内不同细胞类型的分割结果。比例尺为50µm，显示了通过图像分析软件区分TLSs内部不同细胞的能力，这有助于进一步研究TLSs的细胞组成。

© 部分展示了在同一组织切片中使用多种荧光多重免疫组化染色的图像，包括CD4（CD4+ T细胞）、CD8（CD8+ T细胞）、CD20（CD20+ B细胞）和FOXP3（调节性T细胞，Treg细胞），以及在另一个连续切片中的CD68（巨噬细胞）、CD15（粒细胞）、CD11c（树突细胞）和CD45RO。TLSs用虚线白圈标出，比例尺为50µm。这些图像揭示了TLSs内部的免疫细胞分布和相互作用。

(D) 部分提供了80个TLS阳性样本中七种免疫细胞和CD45RO+细胞的比例数据。这些数据反映了TLSs内部细胞组成的定量分析，为理解TLSs在肿瘤微环境中的免疫学功能提供了重要信息。

总体而言，Figure 1 通过不同的染色和分析技术，详细展示了TLSs在PDAC肿瘤组织中的存在、形态、细胞组成和分布，为研究TLSs在胰腺癌中的作用提供了视觉和定量数据。

关键问题

多光谱图像如何用于识别和量化TLS区域和细胞？

多光谱图像在识别和量化肿瘤内三级淋巴结构（TLSs）区域和细胞中的应用，通常涉及以下几个步骤：

荧光多重免疫组化染色（mIHC）：

使用不同的荧光标记抗体对组织切片进行染色，每种抗体针对不同的细胞标志物，如CD4、CD8、CD20、FOXP3等，以标记不同类型的免疫细胞。每种荧光染料的激发和发射波长不同，使得可以在一张图像中同时检测多种细胞标记物。

多光谱成像获取：

使用能够捕捉多光谱图像的设备（如Vectra Polaris Automated Quantitative Pathology Imaging System）扫描组织切片。这些设备能够捕获不同波长的荧光信号，生成包含多个通道信息的多光谱图像。

图像处理和分析：

使用专门的图像分析软件（如inForm V.2.4和HALO V.3.2）处理多光谱图像。软件通过机器学习算法训练，能够自动识别和分割TLS区域，区分不同的细胞类型。

细胞识别和量化：

通过设定阳性阈值，软件可以识别出表达特定标记物的细胞，并计算其在TLS区域内的比例或数量。对于每个TLS，软件可以提供关于不同细胞类型的定量信息，如CD4+ T细胞、CD8+ T细胞、B细胞等的比例。

空间结构分析：

软件还可以分析TLSs的空间结构，例如B细胞和T细胞的分布模式，以及它们在TLS内的相对位置。通过核检测、细胞膜和细胞质识别，可以对细胞进行空间定位，进一步分析细胞间的关系和相互作用。

数据输出：

分析完成后，软件会输出每个TLS的细胞组成数据，包括不同细胞类型的比例和数量。这些数据可以用于进一步的统计分析，以研究TLSs与临床结果（如患者生存率）之间的关系。

通过这种结合多光谱成像和机器学习图像分析的方法，研究人员能够高效、准确地识别和量化TLSs，为研究肿瘤微环境中的免疫反应提供了有力的工具。

三、食管鳞状细胞癌中三级淋巴结构的预后价值及分子特性研究

一作&通讯

文献概述

这篇文章是关于食管鳞状细胞癌（ESCC）中三级淋巴结构（TLS）的预后价值和分子特性的研究。

研究由中山大学附属肿瘤医院的Yihong Ling等人进行，旨在探讨TLS在ESCC中的预后意义以及其成熟状态与患者生存之间的关系。

主要发现包括：

成熟的TLS是ESCC患者接受完全切除后的一个有前景的预后因素。建立了一个基于深度学习的TLS分类器模型，用于常规TLS评估和预后分层。成熟的TLS特征是增殖性B细胞、浆细胞和CD4+ Th细胞的增加，以及B记忆和Th17特征的增加。成熟TLS的存在与ESCC患者更好的预后相关，尤其是在高CD8+ T细胞浸润的情况下。

研究还涉及了对650名完全手术切除的ESCC患者的分析，包括中山大学附属肿瘤医院的394名患者和汕头大学医学院附属肿瘤医院的256名患者。通过病理检查发现，73.1%的ESCC中存在TLS，其中42.9%为成熟TLS，30.2%为不成熟TLS。深度学习模型在识别患者TLS和评估成熟度方面表现出良好的敏感性和特异性。

文章还讨论了TLS在肿瘤微环境中的作用，包括其在促进B细胞和T细胞合作以及为B细胞提供完整的分化特权微环境方面的作用，这进一步激活了TLS中的CD4+ T细胞，并在肿瘤区域有效招募了CD8+ T细胞，以产生和维持有效的抗肿瘤体液和细胞免疫反应，从而改善ESCC的预后。

此外，研究还使用了GeoMx数字空间分析（DSP）来评估ESCC组织中TLS的细胞和分子特性，并分析了TCGA数据库中的ESCC患者的数据，以进一步验证研究结果。

总的来说，这项研究提供了关于ESCC中TLS成熟度对患者预后影响的重要见解，并开发了一种新的工具来评估TLS的存在和成熟状态，这可能有助于个性化ESCC治疗。

简要分析

图1展示了在中心A队列中，三级淋巴结构（TLS）的成熟状态与食管鳞状细胞癌（ESCC）患者生存率之间的相关性。

(A) 展示了一个成熟的TLS的代表性苏木精-伊红（H&E）染色图像。成熟的TLS的生发中心被橙色线圈出，其中暗区（DZ）和明区（LZ）由蓝色线分隔。图中还标注了滤泡树突细胞（FDCs，红色圆圈），中心细胞（centrocytes，红色箭头），中心母细胞（centroblasts，黑色箭头）以及吞噬现象（phagocytosis，绿色多边形）。比例尺为100微米。

(B) 展示了与图A中相同成熟TLS的多重荧光免疫组化（mfIHC）染色图像，使用了CD20、Ki67、CD21、CD4、LAMP3、CD8和DAPI等标记。比例尺同样为100微米。

© 展示了一个未成熟TLS的代表性H&E染色图像。比例尺为100微米。

(D) 展示了与图B中相同未成熟TLS的mfIHC染色图像，使用了与成熟TLS相同的标记。比例尺为100微米。

(E) 展示了Kaplan-Meier曲线，比较了中心A队列中具有成熟TLS（n=169）、未成熟TLS（n=116）和无TLS（n=109）的ESCC患者总体生存率和无病生存率。P值是通过Kaplan-Meier分析和log-rank检验得出的。

从这些图像和生存曲线中，可以观察到成熟TLS的存在与ESCC患者更好的总体和无病生存率相关。这表明TLS的成熟度可能对ESCC患者的预后有重要影响。

关键问题

如何理解GeoMx数字空间分析（DSP）？

GeoMx数字空间分析（DSP）是一种先进的基因表达分析技术，它能够在固定组织切片上进行高多重性的蛋白质和RNA的原位分析。

这项技术由NanoString Technologies开发，它结合了组织病理学、分子分析和生物信息学，允许研究人员在组织切片的具体位置（即“空间”）上测量和映射基因和蛋白质的表达。

GeoMx DSP的工作原理大致如下：

组织准备：使用福尔马林固定、石蜡包埋（FFPE）的组织切片或新鲜冷冻组织切片。

探针杂交：将组织切片与一组特定的编码探针（称为GeoMx Digital Spatial Profiler cartridges）进行杂交，这些探针针对特定的基因或蛋白质。

信号放大：杂交后的探针通过一系列放大步骤，使得每个目标分子的位置和身份都带有独特的分子条形码。

成像和分析：使用专用的成像系统对组织切片进行扫描，以捕获每个探针的位置和强度信息。

数据提取：通过软件分析扫描图像，提取每个空间位置的基因和蛋白质表达数据。

生物信息学分析：利用专门的分析软件，如SpatialDecon，来定量每个感兴趣区域（ROI）中的细胞群体，并评估免疫细胞的活性和特性。

GeoMx DSP技术的优势在于：

空间分辨率：能够在组织切片中特定位置精确测量基因和蛋白质的表达。多重性：能够在单次实验中同时分析数百个基因或蛋白质。高灵敏度和特异性：提供高灵敏度和特异性的表达数据，适合稀有事件的检测。灵活性：适用于各种类型的生物标志物，包括mRNA、miRNA、蛋白质和lncRNA。

GeoMx DSP在癌症研究、神经科学、炎症研究和传染病研究等领域有广泛的应用，特别是在肿瘤微环境分析和免疫肿瘤学研究中，它能够帮助科学家们更好地理解疾病的发展和治疗响应。

四、人工智能在三阴性乳腺癌预后预测中的应用：结合三级淋巴结构和肿瘤芽的分析

一作&通讯

以下是第一作者和通讯作者及其对应单位的表格：

文献概述

这篇文章是关于三阴性乳腺癌（Triple-negative breast cancer, TNBC）生存预测的研究，特别是通过人工智能（AI）结合三级淋巴结构（Tertiary lymphoid structures, TLS）和肿瘤芽（Tumor budding, TB）的分析来进行预测。

研究背景：三阴性乳腺癌是一种高度异质性和临床侵袭性的疾病，目前基于肿瘤-淋巴结-转移（TNM）分类系统进行分期。但由于其高度异质性，相同TNM分期的患者可能会有不同的临床预后。研究目的：研究旨在使用基于AI的分析方法，探索TLS和TB与TNBC患者临床结果之间的关系，并建立一个综合TLS-TB档案来预测患者的生存情况。方法：研究者使用苏木精-伊红（H&E）染色和免疫组化染色评估TLS和TB的浸润水平，并利用AI进行分析。通过多重免疫荧光技术确定TLS内不同细胞亚型。随后，研究者建立了一个列线图模型，并使用R软件进行校准曲线分析和决策曲线分析。结果：在训练和验证队列中，基于TLS/TB指数建立的模型显示出与TNBC患者的总体生存（OS）和无复发生存（RFS）正相关。特别是，TLS中高比例的CD8阳性T细胞、CD45RO阳性T细胞或CD20阳性B细胞与改善的OS和RFS相关。此外，研究者开发了一个基于TLS/TB指数的综合TLS-TB档案列线图，该模型在预测TNBC患者的OS和RFS方面优于传统的肿瘤-淋巴结-转移分期系统。结论：通过AI分析和机器学习工作流程建立的预测策略，TLS/TB指数被确定为TNBC的独立预后因素。基于列线图的TLS-TB档案有助于提高预测TNBC患者预后的准确性。研究设计和患者队列：研究包括一个独立的回顾性训练队列和一个验证队列的TNBC患者。纳入标准包括无其他恶性肿瘤史、无术前化疗或放疗、无不可切除肿瘤或术前远处转移、组织学确认的TNBC、完整的临床病理数据和100%的随访信息可用性。

文章强调了TLS和TB在TNBC预后中的重要性，并提出了一个新的基于AI的预测模型，这可能有助于改善TNBC患者的治疗和管理。

简要分析

图1展示了人工智能（AI）在识别三阴性乳腺癌（TNBC）组织中的三级淋巴结构（TLS）和肿瘤芽（TB）方面的应用。

具体来说：

(A) 部分显示了TNBC组织中TLS的苏木精-伊红（H&E）染色代表性图像（比例尺=200微米）。右侧的图像展示了AI如何识别TLS。

(B) 部分比较了经验丰富的病理学家进行的H&E评估结果与机器学习结果之间的一致性，并通过Spearman相关性检验进行了评估。

© 部分展示了TNBC组织的多重免疫荧光（mIHC）代表性图像。图中用青色、绿色、红色和蓝色分别标注了CD45RO阳性T细胞、CD8阳性T细胞、CD20阳性B细胞和细胞核（比例尺=100微米）。

(D) 部分展示了TNBC组织中CK19（细胞角蛋白19）的免疫组化（IHC）图像（左侧，比例尺=100微米）。右侧的图像展示了AI如何识别CK19阳性细胞。

(E) 部分比较了经验丰富的病理学家进行的IHC评估结果与机器学习结果之间的一致性，同样通过Spearman相关性检验进行了评估。

这些图像和检验结果表明，AI技术能够准确地识别和评估TNBC组织中的TLS和TB，与病理学家的评估结果具有较高的一致性，这为病理诊断和研究提供了一种高效的辅助工具。

关键问题

多重免疫荧光技术如何确定TLS内不同细胞的亚型？

多重免疫荧光技术（multiplex immunofluorescence, mIHC）是一种先进的组织学染色方法，它允许在同一组织切片上同时检测和可视化多种不同的蛋白质或细胞标记物。这项技术通过使用不同荧光标签（如不同颜色的荧光素）的特异性抗体来识别和定位组织中的不同细胞类型或细胞状态。

以下是多重免疫荧光技术确定三级淋巴结构（TLS）内不同细胞亚型的基本步骤：

组织切片：首先，将福尔马林固定、石蜡包埋的组织样本切成薄片。

脱蜡和抗原修复：将组织切片进行脱蜡处理，并可能进行抗原修复步骤以暴露目标抗原。

阻断内源性过氧化物酶：如果使用辣根过氧化物酶（HRP）作为检测系统的一部分，需要阻断内源性过氧化物酶活性以防止背景染色。

一抗孵育：将切片与针对不同细胞标记物的特异性一抗（如CD3、CD20、CD8、CD45RO等）孵育。这些抗体能够特异性地结合到它们各自的抗原上。

二抗孵育：使用与一抗相对应的二抗，这些二抗通常与荧光素（如荧光素异硫氰酸酯，FITC；德克萨斯红，TRITC；以及其他）或酶（如过氧化物酶）偶联。

荧光检测：使用荧光显微镜或共聚焦显微镜检测和捕捉不同颜色的荧光信号，每种颜色对应不同的细胞标记物。

图像分析：通过图像分析软件对获得的多重免疫荧光图像进行定量分析，以确定TLS内不同细胞亚型的数量和分布。

数据解释：根据荧光信号的分布和强度，可以推断出TLS中不同细胞亚型的相对丰度和相互作用。

多重免疫荧光技术的优势在于能够在单张切片上同时提供有关多种细胞类型及其空间关系的详细信息，这对于理解复杂组织微环境中的细胞相互作用和功能至关重要。在TLS的研究中，这项技术有助于揭示TLS的组成和功能，以及它们与肿瘤微环境之间的相互作用。