论文阅读笔记：Self-supervised learning for medical image analysis using image context restoration
| 来源 | Medical Image Analysis |
| 标题 | Self-supervised learning for medical image analysis using image context restoration |
| 作者单位 | 伦敦帝国理工学院计算系，日本名古屋大学信息学研究所 |
| 方法简介 | 提出了一种基于上下文还原的新型自监督学习策略，以更好地利用未标记的图像。在一张医学图像中，随机选取10个大小、形状相同的patch，将这10个patch的位置进行打乱，训练网络将这10个patch进行位置还原。将这种自监督训练方式训练好的网络，用于胎儿健康评估、腹部多器官定位和脑肿瘤分割的下游任务中，都取得了很好的结果。 |
| 试验数据和主要结果 | 三个数据集： 1. 胎儿健康评估2D US数据集，包括2694例18至22周胎龄胎儿的2D超声检查 2. 腹部多器官定位 3D CT数据集，包括150位受试者的3D腹部CT图像 3. 脑肿瘤分割 3D 多模态MRI数据集，包含285例多模态MRI数据
主要结果： 对于小数据量数据集，本研究提出的上下文还原预训练策略可以在基线模型基础之上显着提高性能。 本研究提出的自监督学习方式，与其他自监督方式（Random，Random + augmentation，Auto-encoder，Relative positions，Jigsaw，Context prediction，Context restoration）相比，在三项任务上均获得了更好的表现。
|
| 研究借鉴意义 | 1. 本研究中提出的上下文还原自监督模式，实际上是Jigsaw puzzle模式的一种变体。Jigsaw puzzle是将整张图像剪裁成例如3*3排列的patch，然后进行打乱重排；而本研究提出的上下文还原模式，是选择10个不同位置的小patch进行打乱重排。
2. 虽然文中用到的腹部CT图像和脑肿瘤MRI图像都是3D的，但在自监督训练过程中，本文都是基于2D切片进行选patch，打乱重排预训练网络。另一篇文章也是如此。可能对3D图像直接进行切割打乱重排，需要更多的计算机内存支持，所以目前没有基于3D patch的自监督策略研究。
3. 本研究的数据集的选取非常合理。三个数据集，囊括了医学领域中常见的US, CT，MRI三种模态的数据，也囊括了计算机视觉领域常见的分类，定位，分割三种任务。 |