基于深度学习算法的前房角超声生物显微镜图像自动评估系统.docx

    基于深度学习算法的前房角超声生物显微镜图像自动评估系统    蒋维艳,颜瑜琳,程思敏,杨燕宁0 引言青光眼是全球第二大失明原因,也是不可逆性失明的首要原因[1]原发性闭角型青光眼(primary angle-closure glaucoma,PACG)占全球双侧青光眼盲的50%到2040年,全球PACG患者的数量将比2013年增加58.4%,达到3200万人[2-4]PACG是眼部解剖结构异常导致房角结构狭窄,前房角关闭,房水流出受阻,眼压持续升高所致[5]此外,PACG通常表现为急性,患者大多无症状,直到房角关闭发作因此,早期发现房角关闭是防止永久性视力丧失的有效措施[6]传统的房角关闭生物风险因素主要包括女性、中国人、短眼轴、浅前房以及大且厚的晶状体[7];最近研究证明,周边虹膜增厚、虹膜向前膨隆会增加房角闭合的风险[8-11]因此,观察前房角(anterior chamber angle,ACA)解剖形态对于检测房角关闭和评估关闭风险至关重要[12]ACA评估的参考临床标准是房角镜检查,但房角镜检查是主观的、定性的、可重复性低,取决于检查医生的临床经验[13]前房角镜等检查方法的主观性导致了对客观成像方法的探索,超声生物显微镜(ultrasound biomicroscopy,UBM)具有较高的分辨率[14],也是目前能够显示虹膜后结构形态和进行定量测量的眼前节影像学手段之一[15-16]。

但是,鉴于临床UBM检查基数大,UBM图像评估需要经验丰富的医生且判断结果主观性高、耗时长,提高UBM图像在PACG中的诊断效率和准确度,减轻医疗负担是目前需要解决的问题近年来,人工智能(artificial intelligence,AI)在眼科领域迅速发展,包括糖尿病视网膜病变、年龄相关性黄斑变性、青光眼和早产儿视网膜病变[17-19];最近,有研究报道了基于人工智能的房角开闭状态的自动检测和巩膜突的自动定位系统的开发[20-21]然而,为了减少ACA组织的标记和自动分割的难度,既往研究中角膜、巩膜、虹膜和睫状体在UBM图像中经常被标记为一个类别;对ACA组织区域进行细致自动分割的模型较少,在UBM图像中测量ACA相关参数的研究较少因此,本研究基于UBM图像,通过卷积神经网络(convolutional neural networks,CNNs)深度学习建立自动识别分割结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域,自动识别房角开闭状态,建立不依赖于人为标记的全自动巩膜突定位和自动测量ACA参数系统,旨在探索出能够快速、准确地测量和评估UBM图像的方法,以减轻社会和医疗负担,为PACG的早期诊断提供依据。

1 资料和方法1.1 资料1.1.1UBM图像收集采用诊断试验性研究方法,回顾性收集2021-01/2022-06于武汉大学人民医院眼科中心应用眼科超声显微镜(SW-2100,天津索维公司)进行检查的眼科UBM图像以及受试者的年龄、性别、临床诊断眼科超声显微镜检查包括全景模式(超声探头频率为35MHz,扫描范围15.25mm×9.50mm)、半景模式(超声探头频率为50MHz,扫描范围9.75mm×6.00mm),所有图像均由同一位工作经验20a以上的资深眼科技师采集,操作时严格按照规范进行检测,收集的图像均为BMP格式,1.91Mb以上,1024×655像素本研究经武汉大学人民医院伦理委员会审核通过(No.WDRY-2022-K109),所有操作均遵循《赫尔辛基宣言》由于本研究是一项回顾性研究,并使用脱敏UBM图像,因此无需受试者知情同意1.1.2UBM图像筛选及分类收集的图像均由专业眼科医生进行筛选,剔除ACA组织显影不清晰,伪影,虹膜变形延长,虹膜根部离断、虹膜萎缩、药物性瞳孔散大等不合格图像,最终获得受试者675名1130眼的UBM图像4196张,其中闭角(前房角关闭)图像1724张,非闭角(前房角开放或前房角狭窄)图像2472张,每张图像仅包含一侧前房角,按照 3∶1的比例随机设置训练集和测试集。

另选取黄石爱尔眼科医院的受试者127名221眼的UBM图像631张做外部数据集(一)(眼科超声显微镜,SW-3200,天津索维公司),武汉大学中南医院的受试者188名257眼的UBM图像594张做外部数据集(二)(眼科超声显微镜,SW-2100,天津索维公司),评估该系统在不同环境下的性能,不同数据集分类数据见表1、2表1 收集数据基线信息表2 收集数据数量及分布 张1.2 方法1.2.1UBM图像的标记每幅图像初始均由2名3a以上临床工作经验的眼科医师手动独立标记,利用VCG IMAGE Annotator图像标记软件(版本号2.0.0),根据ACA解剖形态学关系以及各组织在UBM图像中的表现[22-23],标记结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域(图1)、巩膜突(图2),以标记位置的平均值作为参考标准,由第3位更高年资的眼科医师进行检查并校正此外,每幅图像初始均由2名3a以上临床工作经验的眼科医师标记房角开闭状态(闭角或非闭角),若虹膜接触小梁网,则定义为前房角关闭[5],标记结果出现分歧时由第3位更高年资的眼科医师判定,获得最终的标记结果图1 人工标记的ACA结构UBM图像 A～D:非闭角图像;E～H:闭角图像。

A、E为原始图像;B、F黄框内为标记的结膜、巩膜、角巩膜缘区域;C、G黄框内为标记的虹膜区域;D、H黄框内为标记的睫状体区域图2 人工标记的巩膜突位置 A:闭角图像;B:非闭角图像红色箭头指向的黄色圆圈示人工标记的巩膜突位置1.2.2 深度学习卷积神经网络模型的建立1.2.2.1UBM图像大小识别及建立分割模型眼科超声显微镜具有两种成像模式,即全景模式和半景模式为实现模型在不同成像模式下的适用性,编写Python图像处理程序,自动识别UBM图像下方固定坐标轴固定坐标值(0.25mm)的像素值,并自动将所有后续参数从像素值转换为数值(图3);采用Unet++模型[24-25]分割结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域图3 UBM图像大小转换示意图 A:半景模式图像,每一小格的坐标值为0.25mm,代表26px;B:全景模式图像,每一小格的坐标值为0.25mm,代表16px;C、D:模型识别示意图,模型自动识别下方固定坐标轴固定坐标值(0.25mm)并自动识别计算坐标值对应像素值大小(黄色双箭头长度所占的像素值),将图像自动分为半景模式图像(C:像素值为26px)或全景模式图像(D:像素值为16px)。

1.2.2.2房角开闭状态的分类既往研究采用多种算法构建房角分类模型,通过支持向量机(support vector machine,SVM)算法构建的模型预测性能最优[26-28],本研究通过测试集评估模型性能1.2.2.3巩膜突的自动定位通过编写Python图像处理程序,依据上述巩膜突的解剖位置以及解剖形态学关系,以睫状体止点及止点处巩膜向角膜移行500μm的范围内标定巩膜相对最厚处为深度学习模型定位巩膜突(deep learning located scleral spur,DLLSS)1.2.2.4ACA参数的量化(1)ACA角度参数:用于定量评估UBM图像中ACA的角度参数包括小梁虹膜夹角(trabecular-iris angle,TIA)、房角开放距离(angle-opening distance,AOD)、房角隐窝面积(angle recess area,ARA)、虹膜小梁间隙(trabecular iris space area,TISA)UBM图像分析中,基于500、750μm前巩膜突的角度参数测量已广泛用于临床实践[29-30]通过编写Python图像处理程序,基于2个半径的圆,确定圆与角膜内表面的交点,通过垂直于角膜内表面的交点画一条直线,确定交于虹膜前表面的交点,自动计算ACA角度参数。

2)ACA厚度参数:用于定量评估UBM图像中ACA厚度的主要参数包括虹膜周边部、中周部、中央部平均厚度、巩膜突前500μm处虹膜厚度及角膜厚度[30-31]本研究尚未对角巩缘处结膜、巩膜、角膜进行进一步分割识别,为避免结膜及角巩膜缘不定性组织对角膜厚度测量的干扰,模型以巩膜突前500μm处角膜,即透明角膜作为测量指标通过编写Python图像处理程序,基于虹膜长度将虹膜分为三等分,计算每一部分平均厚度,并基于半径500μm的圆,确定圆与角膜内表面及虹膜前表面的交点,通过垂直于两交点画两条直线,确定交于角膜外表面和虹膜后表面的交点,自动计算ACA厚度参数1.2.3 模型训练流程通过深度卷积网络(deep convolutional neural network,DCNN)1、DCNN2、DCNN3将UBM图像中结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域分别进行分割,SVM将分割后的UBM图像分类为闭角和非闭角,识别为闭角和非闭角的UBM图像;通过Python图像处理程序自动定位巩膜突,并计算ACA参数(图4)计算机算法使用Python(3.6.5版)编写,开源Keras库(2.2.5版)和Tensor Flow库(1.12.2版)作为后端,使用具有1个NVIDIA Geforce RTX 2080(GPU内存8GB)的服务器训练模型。

图4 模型训练流程图1.2.4 模型性能评估采用内部测试数据集(武汉大学人民医院)、外部数据集(一)(黄石爱尔眼科医院)、武外部数据集(二)(武汉大学中南医院)对该模型的性能进行评价统计学分析:采用SPSS 25.0统计学软件进行统计分析采用交并比(mean intersection over union,mIoU)和mean Dice (mDice)系数评估分割模型性能将模型用于测试集图像诊断,采用准确度、灵敏度、特异度、阳性预测值(positive predictive value,PPV)、阴性预测值(negative predictive value,NPV)、受试者工作特征(receiver operating characteristic curve,ROC)曲线及曲线下面积(area under curve,AUC)评估房角开闭状态分类模型的性能计算DLLSS和人工标记巩膜突(manually plotted scleral spur,MPSS)之间的欧氏距离(Euclid distance,ED)评估巩膜突定位模型的性能,并采用Kruskal-WallisH检验评估各数据集间巩膜突定位误差的差异。

以MPSS测量结果为参考标准,计算以DLLSS与MPSS测量的ACA参数的平均相对误差(average relative error,ARE)、组内相关系数(intraclass correlation coefficient,ICC)及一致性限度(limits of agreement,LoA)评估MPSS与DLLSS之间ACA参数测量的一致性通过线性回归评估巩膜突定位误差对ACA参数测量的影响以P<0.05表示差异具有统计学意义2 结果2.1 分割模型性能评估计算机模型DCNN1、DCNN2、DCNN3对内部测试集中412张图像进行结膜、巩膜及角巩缘区域、虹膜区域、睫状体区域的标记结果与人工标记结果几乎相同(表3)表3 分割模型性能2.2 房角开闭状态分类模型性能评估计算机SVM模型对房角开闭状态识别,内部测试集的准确度为95.71%,灵敏度为96.13%,特异度为98.38%,PPV为97.54%,NPV为94.70%;外部数据集(一)的准确度为92.76%,灵敏度为82.02%,特异度为98.94%,PPV为97.80%,NPV为90.53%;外部数据集(二)的准确度为95.40%,灵敏度为87。