江苏龙网

  1. 首页 > 资讯 > 科技 > >

机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用( 七 )


机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用
本文插图

图 2. 左侧 ， 训练集中每个受试者潜在表示μ的 LE 二维表示（红色和绿色圆点） ， 通过潜在空间导航方法得到的随机健康形状的潜在表示μ_t 的 LE 二维表示（浅蓝色圆点）；右侧 ， 通过潜在空间导航方法得到的随机健康形状的潜在表示μ_t 的 LE 二维表示 ， 以及对应于在 4 次示例性迭代时μ_t 的解码片段 ， 同时还给出了 HVOls 和 HCM 的概率 ， 以及计算出的 LVM 和 LVCV
3.1.3 文章小结
本文提出了一个深度生成模型用于自动分类与心脏重构（cardiac remodeling）相关的心脏病 ， 该模型利用的是直接从三维分割中学习的可解释任务特定解剖特征 。 本文所提出的模型的体系结构经过特殊设计 ， 能够在原始分割空间中可视化和量化所学特征 ， 使分类决策过程具有可解释性 ， 并有可能实现对疾病严重程度的量化分析 。 此外 ， 作者还提出了一种简单的方法能够在网络学习的低维流形中导航 ， 作者给出的实验结果表明所得到的潜在表示能够用于监控患者的潜在临床效用 。
本文提出的方法是可解释深度学习分类方法在医疗图像诊断中的一个有效应用 ， 它可以帮助临床医生改进诊断 ， 并为患者分层处理提供参考 。 这种方法并不局限于心脏领域 ， 后续可以将其扩展到其他与病理形态变化相关的图像分析任务中 。
3.2、MDNet：一个语义和视觉可解释的医学图像诊断网络[8]
机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用
本文插图

近年来 ， 深度学习技术的迅速发展对生物医学图像领域产生了显著的影响 。 例如 ， 经典图像分析任务 ， 如分割和检测等 ， 支持从医学元数据中快速发现知识 ， 帮助专家进行人工诊断和决策 。 再比如 ， 医学中的自动决策任务（例如诊断） ， 通常可被视为标准的深度学习分类问题 。 不过 ， 现有的分类模型隐藏了其结论的基本原理 ， 缺乏可解释的理由来支持其决策过程 ， 通常不能直接作为辅助诊断的最佳方案 。
在临床实践中 ， 医学专家通常会撰写诊断报告 ， 记录图像中的显微发现 ， 以便辅助医生诊断病情和选择治疗方案 。 教会深度学习技术 / 模型自动模仿这一过程是可解释深度学习在医疗图像诊断领域中的有效应用 。 一个模型如果能够从视觉和语义上给出其诊断结果的基本原因解释 ， 那么这个模型就具有重要的应用价值 。
本文提出了一个统一的网络（medical image diagnosis network ， MDNet） ， 它可以读取图像 ， 生成诊断报告 ， 通过症状描述检索图像 ， 并将网络注意力可视化 ， 通过建立医学图像与诊断报告之间的直接多模态映射为网络诊断过程提供依据 。 MDNet 的完整应用过程见图 1 。
机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用
本文插图

图 1. 用于可解释性诊断过程的 MDNet
为了验证 MDNet 的有效性 ， 本文将 MDNet 应用于膀胱癌病理图像数据库的诊断报告中 。 在膀胱病理图像中 ， 膀胱组织尿道细胞核大小和密度的变化或尿道肿瘤增厚 ， 均提示癌变 。 对于这些特征的准确描述有利于诊断病情 ， 对早期膀胱癌的鉴别至关重要 。 为了训练 MDNet ， 作者重点解决了从报告中直接挖掘判别性图像特征信息的问题 ， 并学习了直接从报告句子词到图像像素的多模态映射 。 这个问题在医疗图像诊断中是非常重要的 ， 因为支持诊断结论推理的判别性图像特征在报告中是 "潜伏" 的 ， 而不是由特定的图像 / 对象标签明确提供的 。 有效利用报告中的这些语义信息 ， 是进行图像语言建模的必要条件 。
作者提出 ， 本文是第一个研究开发可解释的基于注意力的深度学习模型 ， 该模型可以明确地模拟医学（病理）图像诊断过程 。 对于图像建模部分 ， 利用 CNN 实现了基于大小变化的图像特征进行图像表示 。 对于语言建模部分 ， 利用 LSTM 从报告中挖掘判别信息 ， 计算有效梯度来指导图像模型训练 。 作者使用端到端的训练方式 ， 将注意力机制整合到语言模型中 ， 并提出增强其与句子中词（Sentence Words）的视觉特征一致性 ， 以获得更清晰的注意力图 。


推荐阅读


上一篇：水哥爱搞机|A14有两幅面孔：iPad满血、iPhone12阉割？

下一篇：新民晚报|与李诞同台，和李雪琴斗嘴！快递界最会讲段子的人来了