Multimixer，multimixer

在这篇文章中，我将探讨一种新的半监管，多个任务医药学三维成像方式 ，称之为Multimix，Ayana Haque（ME），Abdullah-Al-Zubaer Imran，Adam Wang、Demetri Terzopoulos。该毕业论文在被ISBI 2021百度收录，并于4月的例会上发布。

MultiMix根据选用根据相信的增强对策和新式桥控制模块来实行协同半监督分类和分割，该控制模块还为多个任务给予了可实证性。在彻底监管的情形下深度神经网络的模型可以合理地实行复杂性的图像剖析每日任务，但它的性能比较严重取决于大中型标记数据的易用性。特别是在医药学三维成像行业，人力标明不但烧钱，并且还用时。因而容许从比较有限总数的标记数据信息的半监督学习，被觉得是处理标明每日任务的一个计划方案。

在同一模型中学习培训好几个每日任务可以进一步提高了模型的实用性。多个任务容许在工作间开展共享资源表明的学习培训，与此同时必须很少的主要参数和更少的测算，进而使模型更合理，更不易多重共线性。

对不一样数目的标记数据信息和多源数据做好了普遍的试验，毕业论文说明了其方式 的实效性。还带来了跨每日任务的域内和跨域请求评定，以展现模型融入具备挑战的扩大化情景的发展潜力，这对医药学三维成像方式 而言是一个具备趣味性但关键的每日任务。

环境专业知识

近些年，因为深度神经网络的发展趋势，根据深度神经网络的医药学三维成像技术性取得了发展趋势。但是深度神经网络的基本问题一直存有，那便是他们必须很多的标记数据信息才可以合理。可是这在医药学三维成像行业是一个更高的问题，由于搜集大中型数据和标明是十分艰难的，由于他们必须行业专业技能，价格昂贵、用时，而且不容易在集中化的信息集中化机构下去。此外在医药学三维成像行业中，扩大化也是一个至关重要的问题，由于来源于不一样來源的图像在判定和定量分析上都是有非常大的差别，因此没办法在众多行业中采用一个模型得到很强的性能，这种问题促进了该毕业论文的科学研究：期待根据一些以半监管和多任务学习为核心的主要方式 来处理这种基本上问题。

什么叫半监督学习?

为了更好地处理比较有限的标签数据问题，半监督学习(SSL)做为一种有前景的代替方式 得到了普遍的关心。在半监督学习中，将无标记实例与有标记示例融合应用，使信息内容盈利利润最大化。有关半监督学习已经有很多的科学研究，包含一般的和临床医学行业特有的。我是不会详尽探讨这种方式 ，但假如你有兴趣，这儿有一个突出的方式 目录供你参照[1,2,3,4]。

处理比较有限样版培训的另一个解决方法是应用来源于好几个由来的数据信息，由于这提高了数据信息中的样品总数及其信息的多元性。可是这种做是具备挑战的，由于必须相应的训练法，可是假如做得恰当，它可以十分合理。

什么叫多任务学习?

多任务学习(multitask Learning, MTL)已被证实可以增强很多模型的泛化能力。多任务学习被理解为在单独模型中提升好几个损害，根据共享资源表示学习进行好几个有关每日任务。在一个模型中协同练习好几个每日任务可以提升模型的广泛性，由于每一个每日任务都互相影响（要挑选有关联性的每日任务）。假定练习数据信息来源于不一样的遍布，那样可以用以比较有限的差异每日任务，多个任务在那样的情景中针对以非常少监管的方法学习是有效的。将多个任务与半监督学习紧密结合可以提升性能，并在2个每日任务中获得成功。与此同时进行这两项每日任务是十分有利的，由于一个直接的深度神经网络模型可以十分精确地进行这两项每日任务。

有关医药学方面的相应工作中，具体做法如下所示:[1,2,3,4,5,6,7,8,9,10]。但是，这种发觉的关键局限是他们都没有应用来源于好几个由来的数据信息，限定了他们的广泛性，而且大部分方式 全是单一每日任务方式 。

因而，毕业论文提到了一种新的、更常用的多个任务模型MultiMix，该模型融合根据置信度的中继块，从多源数据信息中共同学习确诊归类和解剖学构造分割。明显图可以根据数据可视化更有意义的視覺特点来剖析模型预测分析。有几种办法可以形成独特性投射，最明显的方式 是以键入图像测算类成绩的梯度方向。尽管一切深度神经网络模型都能够根据独特性图来科学研究更快的实证性，但据大家孰知，在单一模型中2个共享资源每日任务中间的独特性公路桥梁都还没被探寻。

优化算法

使我们最先界定人们的问题。 应用2个数据开展练习，一个用以分割，一个用于归类。 针对分割数据信息，我们可以应用标记XS和Y，分别是图像和分割子网掩码。 针对归类数据信息，我们可以应用标记XC和C，即图像和类标识。

模型系统架构应用基准线U-NET构架，该构造是常见分割模型。 伺服电机的作用类似规范CNN。 要应用U-NET实行并行处理，大家将从伺服电机上支系，并应用池化和全连接层的层支系以获得最后的归类导出。

归类

针对分类方法，运用数据信息增强和伪标记。受[1]的启迪，应用了一个未标记的图像并实行2个独立的增强。

最先，未标记的图像被弱增强，而且从图像的弱增强版本号中，将模型现阶段情况的预测分析列入伪标识。这就是为什么该方式 被半监管的缘故，可是人们将稍候再探讨伪标记的标识。

次之，强增强同样未标记的图像，并且用弱增强图像和强增强图像自身的伪标记测算损害。

那样的实际操作理论基础是，期待该模型将弱增强图像投射到强增强的图像中，那样可以驱使模型学习培训确诊归类需要的主要基本特点。增强图像2次还能够利润最大化唯一图像的不确定性专业知识盈利。这也有利于改进模型的归纳工作能力，就仿佛模型迫不得已学习培训图像中最重要的一部分一样，它将可以摆脱因为不一样域而发生的图像中产生的差别。

毕业论文应用基本的增强方式 来开展弱增强的图像，例如水平翻转和轻度转动。而强增强对策要有意思得多：建立一个非传统，强劲的增强池，并将任意总数的增强量运用于一切已知的图像。这种增强十分“超级变态”，例如剪裁、自饱和度、色度、饱和度、平衡、一致性、转动、锐利度、裁切这些。根据运用随意数目的这种原素，我们可以建立十分普遍的图像，这在解决低样版数据时至关重要。大家最后发觉，这类增强对策针对强劲的性能十分关键。

如今使我们转过头来探讨伪标记的全过程。假如模型形成伪标识的置信度超出了一个调优的阀值，则该图像标识可以避免 模型从问题和糟心的标识中学习培训。由于当预测分析在一开始不太确定时，模型关键从标记的统计数据中学习培训。渐渐地的，该模型对未标记图像的标识形成越来越更为自信心，因而该模型越来越更为高效率。在提升性能层面，这也是一个十分关键的特点。

如今大家一起来看看交叉熵。归类损害可以用下列公式计算来模型:

在其中L-sub-l为监管损害，c-hat-l为归类预测分析，c-l为标识，lambda为无监督分类权重值，L-sub-u为无监管损害，c-hat-s为强增强图像的预测分析，argmax(c-hat-w)为弱增强图像的伪标识，t为伪标签阀值。

这大部分汇总了分类方法，如今大家接着讲分割方式 。

分割

针对分割，根据含有绕过联接的伺服电机-视频解码器系统架构开展预测分析，这比较简单。毕业论文对分割的具体功绩是合拼了一个中继控制模块来联接2个每日任务，如上图所述所显示。依据模型预测分析的类形成明显投射，应用从伺服电机拓展到归类支系的梯度方向。整个过程如上所显示，但实质上注重了模型用以对新冠肺炎图像开展归类的图像的什么一部分。

尽管大家不清楚分割图像是不是意味着新冠肺炎，但形成的地形图却突出了肺脏。因而当应用明显图造成和数据可视化图像的类预测分析时，它在某种意义上类似肺补水面膜。因此大家假定这种图可用以具体指导视频解码器环节的分割，而且能改进分割实际效果，与此同时从不足的标记数据信息中学习培训。

在MultiMix中，形成的独特性投射与键入图像联接，开展下采样，并加入到键入到第一视频解码器环节的特点投射。与键入印象的衔接可以增强2个每日任务中间的联接，并提升中继控制模块的实效性（给予了前后文）。与此同时加上键入图像和独特性投射为视频解码器给予了大量的语义和信息内容，这在解决低样版数据信息时十分关键。

如今咱们来讨论一下练习和损害。针对标记样版，大家通常应用参照肺面补水面膜和预测分析分割中间的dice 损害来测算分割损害。

因为大家沒有未标记的分割样版的分割子网掩码，我们不能立即测算他们的分割损害。因而测算标记和未标记实例的分割预测分析中间的KL散度。这促使模型作出与已标记数据信息愈来愈不一样的预测分析愈来愈贴近，这可以使模型更合理地合适未标记数据信息。尽管这也是一种间接性测算损害的方式 ，但它依然容许模型从没标记的分割数据信息初中到很多东西。

有关损害，分割损失可以写出:

与归类对比，alpha是分割降低权重值，y-hat-l是标记的分割预测分析，y-l是相对应的子网掩码，beta是无监管的分割权重值，而y-hat-u是未标记的按段预测分析。

模型应用归类和分割损害的搭配总体目标开展练习。

数据

对模型开展了归类和分割每日任务的锻炼和检测，每一个每日任务的数据信息来源于2个不一样的由来：新冠肺炎检验数据，大家将其称之为Chex[11]和日本放射学技术性学好或JSRT[12][12]，各自用以归类和分割。

为了更好地认证了模型，应用了2个外界数据蒙哥马利县乳房X射线或MCU[13]，及其NIH乳房X射线数据的子集合，大家将其称之为NIHX[14]。由来的多元性对模型组成了重要考验，由于图像品质，尺寸，正常的图像和出现异常图像的比率及其四个数据的硬度划分的差别都大不一样。下面的图展示了抗压强度划分的差别及其每一个数据的图像实例。全部4个数据均应用CC BY 4.0许可证书。

结论

毕业论文开展了很多试验，并在众多数据信息集中化和跨域请求上采用了不一样数目的标记数据信息。

在测验中采用了好几个基准线，从Arale-net和规范支持向量机（ENC）逐渐，该支持向量机是具备聚集层的伺服电机获取器。随后，大家将二者组成为基准线多个任务模型（UMTL）。还应用半监管方式 （ENCSL），（UMTLS）及其多个任务模型和半监管方式 （UMTLS-SSL）的多个任务模型。

在练习层面，在好几个标记的数据上开展了练习。为了更好地开展归类，大家应用了100、1000和全部标识，针对分割，大家应用了10、50和全部标识。针对结论，将应用标记：模型 - 标识（例如Multimix-10–100）的形式开展标记。为了更好地完成评定，应用精确性（ACC）和F1成绩（F1-N和F1-P）开展归类，分割则应用了DS相似度（DS），JACCARD相似性得分（JS），构造相似度指数值（SSIM） ，均值Hausdorff间距（HD），精密度（P）和招回（R）。

该表表明了加上了每一个新部件的模型性能怎样改进。针对归类每日任务，与基准线模型对比，根据相信的增强方式 可显着提升性能。Multimix-10–100也以精确性的方法好于彻底监管的基准线伺服电机。为了更好地开展分割，桥控制模块对基准线U-NET和UMTL模型造成极大改善。即使具备最少按段标识，大家还可以见到其性能提高30％，这表明了本文提到的Multimix模型的实效性。

如表所显示，多模光纤中的性能与内域一样有期待。在全部基准线模型上，Multimix在归类工作中的评分更强。因为NIHX和CHEX数据存有显着差别，如前所述，评分比不上内域模型结论好。可是它确实比别的模型更强。

图中表明了分割结论对里域和跨域请求评定的一致性。 我数据信息汇集的每一个图像表明了模型的dice成绩。 从图上，能够看见，与基准线对比，Multimix是最強的模型。

最后一个图是模型的分割预测分析的数据可视化。展现了的预测分析的界限使为每一个明确提出的分割每日任务加上对不一样标记数据信息的真值比照。图上表明了与MultiMix对于真正界限的边界预测分析的明显一致性，尤其是与基准线对比。针对跨域请求MultiMix在较大水平上也是较好的，表明了强有力的泛化能力。

汇总

在这篇文章中，大家表述了一个可用以协同学习培训归类和分割每日任务的新的稀少监管多任务学习模型MultiMix。该文章应用四种不一样的乳房xX射线数据开展了普遍的试验，证实了MultiMix在域内和跨域请求评定中的实效性。

毕业论文创作者也保证了源码,有感兴趣的可以看一下:

https://avoid.overfit.cn/post/a475b41b332845b7bb9e8cf09ec8c662

作者：Ayaan Haque