连续医学影像对转移性大肠癌早期治疗反应预测的深入研究

在目前的临床实践中，肿瘤反应的评估通常是基于连续CT扫描图像上肿瘤大小的变化。然而，肿瘤对抗血管内皮生长因子治疗转移性结直肠癌(MCRC)的疗效评价是有限的，因为肿瘤的形态学改变可能比肿瘤大小的改变更早。在此，我们提出了一种利用深度学习(DL)网络来描述肿瘤形态学变化的分析方法，以评估mCRC患者的疗效。我们回顾性分析了1028例mCRC患者的前瞻性研究(NCT 00561470)。我们发现DL网络能够预测mcrc的早期治疗反应，表现出比C-指数为0.649(95%CI：0.619，0.679)和0.627(95%CI：0.567，0.638)更好的性能。p=0.009，z-测试。将DL网络与基于规模的方法相结合，可以进一步提高C-指数(95%CI：0.661，0.720)的预测性能，优于基于Size/DL的模型(ALL)。p < 0.001, z-测试)。我们的研究表明，DL网络可以为肿瘤形态学的定量和综合表征提供一种无创手段，这可能有助于个性化的早期治疗决策。

在对实体肿瘤进行全身治疗的临床试验中，通常通过像无进展生存期(PFS)和反应率(RR)等成像端点来衡量疗效。在实体肿瘤中，这些端点基于实体肿瘤的反应评估标准(RECIST)1.1标准1,2并使用系列CT图像进行评估。进展被定义为从基线增加20%或更多，在最长直径的目标病变，而反应同样被定义为减少30%或更多。

人们希望能够更好地评估疗效，并为转移性大肠癌(MCRC)患者的最佳治疗提供更好的临床决策指导。早期肿瘤收缩(Ets)被定义为在首次再灌注时测量的肿瘤负荷的减少，最近被临床医生作为预测mcrc患者长期预后(总体生存，OS)的一种有希望的早期治疗影像学生物标记物而受到临床医生的关注。3。对临床试验的回顾性分析表明，ets标准可以识别长期存活的患者，这些幸存者明显受益于继续治疗，特别是在一线临床试验中，该试验将抗EGFR药物联合化疗与单纯化疗进行了比较。4.

当ETS和RECIST标准都依赖于肿瘤大小的变化来评估它们的反应时，其他的形态学变化，如总衰减、肿瘤-组织界面和周围强化边缘的变化。5，在治疗中甚至可能发生比肿瘤大小变化更早的情况。例如，在大多数抗VEGF治疗中，肿瘤结构的改变有时发生在肿瘤缩小之前。5,6,7。近十年来，人们提出了许多定性和定量的图像分析算法来评估肿瘤的形态变化。8,9,10,11。这些医学图像分析算法，也被称为放射学方法。12，允许高通量医学图像转换为可挖掘的定量数据，从而使定量评估肿瘤形态学变化成为可能。例如，Dohan等人最近提出的一项研究。9使用包括三个放射组学特征的放射组学特征来预测结直肠癌患者无法切除的肝转移的治疗结果。然而，这些医学图像分析算法通常受制于人类预先定义的标准，通常涉及对感兴趣区域(即肿瘤区域)进行手动或半自动分割，并使用事先人工设计的图像特征。

近年来，医学图像分析正日益向深度学习(Dl)方法发展。13，在包括皮肤科在内的各种医学图像应用中显示了显著的效果。14、眼科15、病理学16，以及放射学17,18。DL方法是一种数据驱动的方法，根据特征的预测能力，而不是基于人的先验知识，自动设计和组织图像特征。然而，到目前为止，很少有人将DL方法应用于肿瘤早期治疗反应的预测，尤其是mCRC。例如，在国家医学图书馆医学文献数据库中检索关键词“深入学习”、“转移性大肠癌”和“反应或生存”(Https://pubmed.ncbi.nlm.nih.gov/)，只有一篇文献被发现19文献仅涉及结直肠肝转移，资料少。用DL方法预测mCRC治疗反应的挑战包括：(1)mCRC涉及多个器官，最常见的是肝、肺和淋巴结转移灶；(2)反应预测涉及患者在治疗过程中的多个时间点的CT图像，而不是单个时间点；(3)DL方法需要大量的数据进行训练。

因此，本概念证明研究的目的是探讨DL方法以OS为主要终点预测mCRC患者早期治疗反应的能力。为了应对上述挑战，我们收集了1028名mcrc患者，他们来自于Vvelour试验(一项国际前瞻性的多机构研究)。20)用于我们的研究(见图1)。1)，以及一个复杂的DL网络体系结构，它结合了卷积神经网络(Cnn)。13和递归神经网络(RNN)21(见图1)。2)。CNN用于描述不同器官的病变，而RNN则用于在多个时间点对病变进行表征。我们的工作是建立在发表在22其中DL网络作为预测肺癌治疗反应的计算工具。在本研究中，对不同类型的大肠癌，使用了更复杂的DL网络和更大的数据，并评估了基于DL的方法的性能及其相对于传统的基于大小的方法的增量价值。此外，为了更好地理解基于dl的辐射表型，我们利用梯度加权激活映射方法(grad-cm)映射图像中的网络注意力区域，根据它们对OS预测的贡献进行映射。23.

学习设计概述。

全尺寸图像

病人特征

本研究共收集了1028名来自天鹅绒试验的患者。有关天鹅绒痕迹病人特征的细节，可在现有文献中找到。20,24。将1028名患者随机分为两组(n=502名病人)及测试(n=526名病人)。发现组和测试组的媒体OS分别为13.56个月和12.71个月(p=0.691，对数秩检验)(见附图.1)。这两组患者共涉及3757个病灶(平均每个患者3.53±2.19个靶病灶)，共14个解剖点(见表)。1)。病变部位以肝脏(58.3%)、肺(22.5%)、淋巴结(12.0%)为主。在目标病灶的平均数目、大小和解剖位置上，发现组和试验组之间没有显着性差异(全部)。p>0.05，t-数字数据的测试和分类数据的卡方检验)。

在CT扫描方面，由于天鹅绒轨迹是一项国际性的多机构研究，因此CT图像在成像采集环境中具有很大的异质性(见表)。2)。如表所示2共进行了3193次CT扫描，分别来自9家CT制造商、81家制造商模型和65种CT图像重建算法。在制造商模型和CT图像重建算法方面，发现组和测试组之间有显着性差异(两者都有)。p < 0.05, chi-square test). For those regular imaging parameters, e.g., slice thickness, voltage, product of tube current and time, and pixel spacing, there was no significant difference (all p>0.05，t-测试，除了管电流和时间的产品)和主流范围的设置。

DL预测评分预测性能的验证

一致性相关系数(CCC)25DL预测得分为0.901(95%CI：0.880，0.913)，表明在ROI选择的潜在变异下，预测评分具有较好的重现性。在对DL-响应者和非响应者进行分类时，DL预测评分的AUC(95%CI：0.72，0.80)为0.76(95%CI：0.72，0.80)，最佳分层截止值为“DL预测评分≥0.6”。26(见附图。2)。应用DL预测评分≥0.6将患者分组为DL-应答者和DL-非应答者，DL-应答者的OS显著优于DL-非应答者，中位数OS为18.0比10.4个月，危险度(HR)为95%CI=0.49(0.40，0.61)，差异有显着性(P<0.0 5)。p=1×10−6，原木级检验(见图1.3A)。具有类似结果的里程碑式分析提供了补充图。3。作为比较，基于大小的RECIST标准将反应定义为肿瘤负担减少30%或更多，结果是中位OS 17.2比12.5个月，HR(95%CI)=0.60(0.42，0.85)，p=0.02，对数秩检验(见图1.3B)。DL标准与RECIST标准所定义的应答者比例分别为41%和6.7%。与另一种基于尺寸的标准相比，ETS准则(ETS准则的最佳分层截止值为“ETS≥5%”)(见附图)。4)，DL网络在更大的增量中值操作系统方面仍显示出更好的性能，FA和F支臂分别为7.3比5.4(Δ月)和7.8比4.6(Δ月)。采用线性相关检验DL评分与ETS的相关性(见附图)。5)。发现DL预测评分与ETS呈弱线性相关，相关系数(95%CI)=0.45(0.38，0.52)。R2=0.21。补充表还提供了基于dl和基于大小的标准的比较和补充讨论，这些标准是基于现有文献的。1.

Kaplan-Meier估计量图以及风险比率和p-通过对数秩检验估计的数值是存在的。为(a)DL评分标准，将响应者定义为得分≥0.6和(b对于传统的RECIST标准，反应者被定义为肿瘤负担减少30%或更多。

全尺寸图像

基于DL方法对传统尺寸法增量值的评估

如表所示3建立了7种预后模型，即RECIST、TB、ETS、DL-BS、DL-PS、Size-NOMO和DL-NOMO模型.DL-NOMO模型及其标定曲线27关于1年生存率的预测如图所示。4(补充图提供了其他六种型号的命名图及其校准曲线。6–8)。在图中。4可以看出，DL-Nomo模型的预测结果与实际结果吻合较好。

aDL-Nomo模型的示范性图。首先，在DLScore轴上定位病人的DL预测评分。然后，将一条直线向上画到点轴，以确定根据他或她的DL预测评分，病人获得1年生存概率的点数。对每个变量重复相同的过程。第三，将从每个变量得到的点相加，并将最后和定位在总点轴上。最后，画一条直线从总点轴到1年生存概率轴，找出病人最终的1年生存概率。b, c该发现中DL-Nomo模型的标定曲线n=502)和测试队列(n分别=526)。标定曲线用预测值与观察到的1年生存概率之间的一致性来表示校准结果。模型预测的1年生存概率在x轴，而观察到的实际1年生存概率则绘制在y-轴心。对角线灰色线表示一个理想模型的完美预测，其中预测结果与实际结果完全一致。红线表示模型的性能，用对角灰色线表示较好的估计值。和三个患者组(短、中、长生存期组)的预测生存概率。n每组患者总数/3)以误差条表示，即平均值±标准差。

全尺寸图像

Harrell一致性指数(C-Index)28表中列出了七种预测模型4。在模型识别性能方面，可以得到一些重要的观测结果。首先，DL-PS模型的性能优于其对应模型，分别为0.649(95%CI：0.619，0.679)和0.627(95%CI：0.567，0.638)；p=0.009，z第二，DL-PS模型的性能优于DL-BS模型(0.649(95%CI：0.619，0.679)和0.607(95%CI：0.574，0.639)。p=8.6×10−5, z-测试)，显示了使用多个时间点而不仅仅是使用基线的必要性；第三，也是最重要的是，将DL-ps纳入Size-NOMO模型的DL-NOMO模型在所有模型中都取得了最好的性能(95%CI：0.661，0.720)。p < 1 × 10−3, z-测试)，建议将基于DL的方法与传统的基于尺寸的方法相结合。

此外，一个决策曲线分析29结果表明，多变量DL-NOMO模型的总体净收益高于其他所有单因素模型以及多变量Size-Nomo模型在发现和测试队列中的大多数合理阈值概率范围(见图1)。5)。另一个有趣的发现是，RECIST模型对OS的早期预测几乎没有临床价值，尽管它显示了可接受的鉴别性能(95%CI：0.546，0.769)。这是因为，RECIST标准将反应定义为肿瘤负担减少30%或更多，只能在早期确定有限数量的患者(见图一)。3B).

在数字中，y-轴度量模型的效益，x-轴显示相应的阈值。模型效益被定义为其1年生存状态(活/死)被正确预测的患者的百分比。阈值是模型使用的截止点，其范围为零到一。如图所示，DL-NOMO模型显示了这两项发现(a)和测试(b)队列。

全尺寸图像

网络激活映射

激活映射的强度大小表明了CT图像中每个像素的“重要性”，有助于最终的预测。激活映射可以帮助临床医生了解CT图像中的区域，从而得到DL网络的预测，从而提供更多的肿瘤区域内外信息。四个病人的例子如图所示。6均有相似的肿瘤生长/收缩模式，但OSS各不相同。在图中。6a，b两例患者肿瘤负担均增加(随访2个月时均增加29%)，但患者(A)生存时间比患者(B)长8.2个月。在图中。6A激活图谱显示，DL网络关注肿瘤边界低衰减区(病灶#1、#2和#4)的发生，提示这种形态模式可能会改善预后预测。在图中。6C，d两例患者的肿瘤负荷均有下降(其中一例为23%，另一例为22%)，但患者(D)存活时间较患者(C)短4.3个月。有趣，如图所示。6d虽然肿瘤的大小减少，但肿瘤的异质性(病变#1)和血管受累(病变#2)发生在2月，这可能预示着短期生存。

在每幅图片中，左上角的描述显示病变的编号、位置和大小，白色箭头表示病变位置，左下角/右下角的白色框架显示感兴趣的缩放区域和感兴趣区域的相应注意映射。每幅图片有两行，上面显示基线的CT扫描，底部显示后续的CT扫描。每幅图片底部黄色的描述显示相应患者的肿瘤缩小、深度学习(DL)方法、预测评分和总生存率(OS)。a, b肿瘤负担增加，而(c, d(2)肿瘤负荷减轻的患者，虽然肿瘤负荷增长/收缩模式相似，但生存时间不同。

全尺寸图像

在本研究中，我们构建了一个DL网络，利用基线CT图像和2个月的第一次评估来预测mCRC患者的早期治疗OS。包括526例mCRC患者在内的试验队列的验证结果表明，DL评分为≥0.6的患者以很高的概率预测了延长的存活时间。与基于大小的ETS标准相比，基于DL的标准显示了将患者分层为长期或短期幸存者的能力。当将DL预测得分与基于大小的预测器相结合时，组合模型DL-NOMO的预测性能优于任何其他基于规模的/DL-模型。

这项研究的动机部分是基于这样的理解，即基于大小的标准在评估肿瘤对抗癌治疗的反应上有局限性，因为大小变化只是肿瘤形态变化的一个方面，而不包括肿瘤密度、异质性、边界厚度等变化的信息。在临床实践中，不同的治疗方法可能导致mcrc患者不同的肿瘤改变模式，单凭基于大小的标准很难区分复杂和差异。

因此，在本研究中，我们提出了一个DL网络来表征肿瘤的形态学变化。提出的DL网络采用了CNN和RNN两种类型的网络。CNN基本上是用于图像分析和计算机视觉的网络类型。自从cnn在过去五年中在医学领域的广泛传播以来，它在医学图像分类方面已经显示出卓越的能力。14,15,16、探测17,18和分割30,31。在这项工作中，我们遵循“预培训和微调”的模式，将对超过1400万张图像进行预处理的Google网从自然图像领域转移到mCRC CT图像域。微调的谷歌网显示了提取形态图像特征的前景，这些特征能够描述肿瘤的变化，而不是肿瘤大小的变化(见图一)。6)。虽然CNN的特征与肿瘤大小的变化有相关性，但相关性很弱(见附图)。5)。因此，基于cnn特征的DL网络的集成是合理的，它可以通过提供更多的形态学变化信息来受益于基于大小的方法(见图1)。5)。同时，我们采用RNN建立了一个时间相关模型.RNN基本上是一种基于时间序列进行预测的网络类型。Rnn允许自动学习特征之间的时间依赖关系，而不是使用人体模型，例如肿瘤生长抑制模型。32.

除了DL法的应用外，本研究的优点还包括使用丝绒试验。首先，天鹅绒试验是一项国际性的、前瞻性的、随机的研究，允许从它得出的任何结果在不久的将来被纳入国际指南。第二，在天鹅绒试验中的成像数据是CT图像。尽管近几年来，成像特征来自于其他成像方式(如灌注CT)。33，增强超声34扩散灌注MRI35等等)这些技术被认为是早期治疗患者预后预测的影像学生物标志物，但由于缺乏重复性，这些技术未能得到广泛应用，主要是因为它们不是目前国际指南推荐的标准成像技术。基于CT图像的DL标准在临床试验和临床实践中都有广泛的应用前景。第三，天鹅绒试验共包括1028例mCRC患者和3757个病灶，这些病变来自14个解剖位置，这是肿瘤影像学方面的一个大数据集，因此可以开发有利于大数据输入的DL方法。最后，VELUR试验包括总共3193次CT扫描，这些扫描具有很大的异质性，在图像采集设置方面覆盖范围很广，因此可以开发一种稳健的算法，以供临床应用。

正如导言中提到的，我们的工作是建立在徐永平等人的初步研究之上的。22应用DL法预测肺癌的治疗效果。然而，在徐永平的工作中，所开发的DL网络并没有表现出比规模标准更好的性能。相反，我们的工作证明DL网络能够描述肿瘤的形态变化，而不是大小的变化。与以前的工作相比，我们DL方法的一些优点可能是使用更复杂的网络(Google网-Inception-v3对组织图像进行微调)，为图像预处理提供良好的定制参数，以及从组织良好的临床试验中收集大量数据进行网络培训。另一项激发我们工作的研究是Dohan等人提出的研究。9它使用由三个图像特征组成的放射组学特征来预测结直肠癌患者的治疗结果。虽然放射组学特征在相应的数据集中表现出良好的性能，但它仍然存在着一些共同的局限性，如病灶的人工/半人工轮廓和图像特征的人体工程。

我们的研究有几个局限性。首先，作为概念研究的证据，我们只包括来自单一临床试验的患者，尽管试验是多中心的，并且确实有两个不同的试验臂。未来，随着Vol-PACT项目的发展21，将不断收集更多来自其他试验的患者，以进一步验证基于DL的标准的有效性。例如，最近又有两项大规模的mcrc临床试验，即水晶。36(NCT 00154102)和首相(NCT 04549935)37这两种疾病都有一千多名患者，已经在Vol-PACT中得到了应用。其次，提出的DL准则仅利用医学影像信息。将来，临床信息(如病人特征)以及其他领域知识(如基因组学)将被纳入DL网络，以进一步提高性能。最后，dl网络的可解释性仍然是有限的，因为隐藏的神经单元和层之间的相互作用和功能背后的理论还没有建立起来。13。尽管如此，我们相信，随着dl理论的发展，这一局限性在未来一定会得到克服。38,39.

总之，本研究从肿瘤的前处理和随访CT扫描的角度论证了DL网络对肿瘤形态学改变的定量表征的影响，这些变化与患者的OS有关。使用所提出的DL网络可以提高OS预测的性能。由于DL网络的所有输入都是标准的CT图像和基于RECIST 1.1的肿瘤测量，因此有希望将DL网络作为一种计算工具整合到临床实践中，为早期的治疗决策提供全面和定量的信息。