解剖学报

作者：赵家悦,李诗曼,章琛曦

单位：1.复旦大学基础医学院数字医学研究中心，上海200032; 2.上海市医学图像处理与计算机辅助手术重点实验室，上海200032

关键词：黑色素瘤, 大规模视觉语言模型, 微调, 诊断, 深度学习, 人

目的 开发一个基于大规模视觉语言模型的黑色素瘤诊断框架，并探讨该框架用于黑色素瘤诊断的可行性和准确性。方法采用公开数据集Derm7pt，其数据集划分为训练集 (346例)，验证集 (161例) 和测试集 (320例)。提出了一个基于大规模视觉语言模型的黑色素瘤诊断框架，该诊断框架包括两个文本分支和一个视觉分支。在文本分支中，一个分支处理固定的临床提示；另一个分支则处理可学习的提示。这种设计旨在通过固定的临床提示引导和优化可学习提示的效果。视觉分支处理皮肤镜图像，通过微调图像编码来增强对黑色素瘤特征的识别能力。结果在Derm7pt数据集上，我们的方法在性能上优于现有其他方法。其接收者操作特征曲线下面积（AUC），准确率和F1-分数分别为87.35%，84.17%和84.01%。结论通过适当的微调策略，基于大规模视觉语言预训练模型的方法能够有效地适应黑色素瘤的诊断任务。这种方法可以作为医生的有力辅助工具，帮助他们做出更加准确的诊断决策。

来源：2025年第1期

《解剖学报》期刊编辑部

查看解剖学报杂志2025年第1期