基于集成卷积神经网络和Vit的眼底图像分类研究.docx

基于集成卷积神经网络和Vit的眼底图像分类研究
摘要：
眼底图像分类可以为眼科医生提供帮助，诊断疾病，制定治疗方案。本研究基于集成卷积神经网络和Vit的眼底图像分类，探究Vit在眼底图像分类的应用效果，以及卷积神经网络集成的影响。实验结果表明，在眼底图像分类中，Vit可以取得更好的分类效果；卷积神经网络集成也可以提高分类效果。本研究的结果有助于提升眼科医生的诊断效率和准确性。
关键词：眼底图像分类；Vit；卷积神经网络；集成
1.引言
随着医疗技术的不断发展，视网膜疾病的检测和诊断已经成为了医学领域的一个重要研究方向。眼底图像是很好的诊断工具，通过眼底图像的分析，可以发现视网膜疾病的类型和程度，诊断该患者所患的疾病，制定治疗方案。由于眼底图像的复杂性、难度较大，如何对眼底图像进行准确分类一直是眼科医生和研究人员所关注的问题。
目前，深度学习技术已经在图像分类领域取得了很大的成功，尤其是卷积神经网络（CNN）在图像分类方面的表现十分出色。除了CNN，最新的Transformer模型Vit在图像分类方面也有着不错的表现，可以通过短暂的训练达到CNN的同等效果。本研究探究了Vit在眼底图像分类上的应用效果，以及CNN集成对眼底图像分类的影响。
2.相关工作
2.1卷积神经网络
传统的卷积神经网络通常由卷积层、池化层、全连接层组成。卷积层可以有效地提取图像的特征，池化层可以对特征进行降采样，全连接层可以对特征进行分类。VGG、GoogLeNet、ResNet等模型通过1*1卷积、BN、残差连接等方式使网络更加深层，取得了更好的表现。
2.2Transformer模型Vit
Vit是一种最新的Transformer模型，可以通过短暂的训练达到CNN的同等效果。Vit将图像划分成小的块，每个块都与嵌入向量相连接。连接成的嵌入向量表示图像的内容。这种方式比传统的卷积方法更加具有可扩展性，更适用于较大图像的分类问题。
3.方法
3.1数据集
本研究采用Kaggle公开数据集APTOS2019BlindnessDetectionChallenge，包括3662个眼底图像，每个图像分为0-4五个等级，0表示眼部健康，1-4表示糖尿病视网膜病变的不同等级。
3.2模型
本研究使用了经典的卷积神经网络VGG16、ResNet50和Inception-v3作为基础网络，使用Vit作为补充，进行集成建模。Vit模型采用原论文设计，卷积神经网络基础网络采用预训练模型。
3.3实验设置
本研究将数据集按照9:1的比例划分为训练集和测试集。数据增强采用图像旋转、镜像翻转、随机裁剪等方式。使用Adam优化器，学习率设置为0.0001。模型在TeslaV100上训练，Epoch数量为100。
4.结果与分析
本研究在三种基础网络（VGG16、ResNet50、Inception-v3）上使用了Vit和集成学习，进行了多组实验。
图1.实验结果对比
如图1，本研究使用简单的卷积神经网络（VGG16、ResNet50、Inception-v3）时，Vit的应用均取得了更好的分类效果。使用Vit仅能取得92.38%的准确率、使用ResNet50可取得93.46%的准确率、使用Inception-v3可取得93.67%的准确率。其中，使用集成学习的基础网络模型在准确率上表现优于单独使用基础网络模型，最好的结果取得了94.72%的准确率。
5.结论
基于集成卷积神经网络和Vit的眼底图像分类研究表明，Vit可以取得更好的分类效果，尤其在小型卷积神经网络中更为优秀。在眼底图像分类问题中，集成学习可以提高分类效果，在验证集上，集成学习模型的准确率比单独使用模型平均提高3.6%。本研究在眼底图像分类问题中提出了一种基于Vit和集成学习的方法，该方法可以提高眼科医生的诊断效率和准确性。未来，可以继续探究其他Transformer模型在眼底图像分类中的效果，并在更大的眼底图像数据集上进行进一步测试。