吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)

  • 原文来自:新智元 (在新智元微信公众号回复1229,可下载全部PPT。)

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

【导读】本文是美国国家研究院健康临床中心(NIH-CC)吕乐在GTC DC上的演讲整理,主题有关利用深度学习和深度神经网络进行医学影像分析。

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

放射医学中的深度神经网络:预防和精确医学的角度

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

深度学习和深度神经网络对医学成像或医学影像分析有帮助吗?(答案是肯定的)

  • 淋巴结应用程序包(52.9%→85%, 83%)
  • 胰腺应用程序包 (~53%→81.14%,在遗传相似系数中)
  • 肺(间质性肺病)应用程序包 + DL读取胸部X射线

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

复杂性和模块性

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

为什么以前的以及当前的计算机辅助诊断(computer-aided diagnosis,CAD)系统没有特别成功?

  • 机器决策对于人类医生来说不好接受:优秀的医生讨厌使用它;不太优秀的医生会困惑,不知道如何使用 →人机协作的决策过程
  • 使机器决策更易于理解对于协作系统来说非常关键 → 学习中级属性或嵌入?

预防医学:人类医生做不到的是什么(数百万的人口规模,至少这是不经济的):人口风险分析

精确医学:a)精确医学中的新的生物标记物,能够更好地协助人类医生做出更精确的判断;b)用于诊断/治疗系统的患者水平相似性检索系统

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

应用的焦点:癌症成像

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

三类关键问题:

  • 计算机辅助检测(CADe)和诊断(CADx)

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

  • 医学图像分析中的语义分割

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

  • 大型放射学影像数据库中的交替或联合文本/影像深度挖掘

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

自动淋巴结检测

  • 由于淋巴结外观、位置和姿态的变化很大,检测很困难。
  • 加之淋巴结与周围组织的对比度低。

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》
《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

浅层模型:使用线性分类器的二级层次结构的2D视图集合

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

HOG: Histogram of Oriented Gradients + LibLinear on recognizing 2D Views

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

淋巴结检测FROC的性能

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

多通道HOG特征图构造

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

单一模板结果

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

分类

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

混合模型的检测结果

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

深度模型:通过综合表征的卷积神经网络预测的随机集

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

卷积神经网络架构

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

实验结果

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

我们的结果与前人研究的结果比较

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

转移学习的可视化

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

微调后更好的本地化

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

失败的例子

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

可推广? 通过微调AlexNet,对1186例患者(或2372 CTC体积)使用更深的CNN的结肠CADe结果

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

语义分割:自上而下还是自下而上的范式?

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

更准确的成像使用淋巴结体积作为生物标记,而不是基于直径的RECIST标准?

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

使用Holistically-Nested神经网络和CT成像中的结构化优化的自动淋巴结聚类分割

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

多尺度“缩小”R-ConvNet

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

DeepOrgan:通过双通道编码的R2-ConvNet

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

82 CT扫描的4倍CV性能

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

高于平均值的例子

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

用于自动胰腺分割的Holistically-Nested网络的空间聚合

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

更准确,更快?

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

通过多标签深度学习的整体ILD预测

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

使用深度神经网络学习阅读胸部X光片

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

使用MeSH的阅读结果更准确,标注更“像人类”

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

在大型放射学数据库(780K / 62K患者)交替文本/影像深度挖掘的自动影像解释

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

大规模放射数据库中的交替文本/图像深度挖掘?

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

无监督循环深度Pseudo-task优化

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

五级层级分类

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

层级分类样本

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

LDPO-PM框架

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

场景识别数据集

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

结果:监督分类的学习特征

《吕乐:面向医学图像计算的深度学习与卷积神经网络(65ppt)》

    原文作者:zhwhong
    原文地址: https://www.jianshu.com/p/d29223ee2cb2#comments
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞