U-Net - U-Net

U-Net é uma rede neural convolucional desenvolvida para segmentação biomédica de imagens no Departamento de Ciência da Computação da Universidade de Freiburg . A rede é baseada na rede totalmente convolucional e sua arquitetura foi modificada e ampliada para funcionar com menos imagens de treinamento e produzir segmentações mais precisas. A segmentação de uma imagem 512 × 512 leva menos de um segundo em uma GPU moderna .

Descrição

A arquitetura U-Net deriva da chamada “rede totalmente convolucional” proposta inicialmente por Long, Shelhamer e Darrell.

A ideia principal é complementar uma rede de contratação usual por camadas sucessivas, onde as operações de pooling são substituídas por operadores de upsampling . Portanto, essas camadas aumentam a resolução da saída. Além do mais, uma camada convolucional sucessiva pode aprender a montar uma saída precisa com base nessas informações.

Uma modificação importante no U-Net é que há um grande número de canais de recursos na parte de upsampling, o que permite que a rede propague informações de contexto para camadas de resolução mais alta. Como consequência, o caminho expansivo é mais ou menos simétrico à parte contrária e produz uma arquitetura em forma de u. A rede usa apenas a parte válida de cada convolução sem nenhuma camada totalmente conectada. Para prever os pixels na região da borda da imagem, o contexto ausente é extrapolado espelhando a imagem de entrada. Esta estratégia de tiling é importante para aplicar a rede a imagens grandes, caso contrário a resolução seria limitada pela memória da GPU .

História

U-Net foi criado por Olaf Ronneberger, Philipp Fischer, Thomas Brox em 2015 no artigo “U-Net: Convolutional Networks for Biomedical Image Segmentation”. É uma melhoria e desenvolvimento do FCN: Evan Shelhamer, Jonathan Long, Trevor Darrell (2014). "Redes totalmente convolucionais para segmentação semântica".

Arquitetura de rede

A rede consiste em um caminho de contração e um caminho expansivo, o que lhe confere a arquitetura em forma de u. O caminho de contratação é uma rede convolucional típica que consiste na aplicação repetida de convoluções , cada uma seguida por uma unidade linear retificada (ReLU) e uma operação de pooling máximo . Durante a contração, as informações espaciais são reduzidas enquanto as informações dos recursos aumentam. O caminho expansivo combina o recurso e as informações espaciais por meio de uma sequência de convoluções e concatenações para cima com recursos de alta resolução do caminho de contração.

Este é um exemplo de arquitetura de U-Net para a produção de máscaras de imagem de 256 por 256 para uma imagem RGB de 256 por 256.

Formulários

Existem muitas aplicações de U-Net na segmentação de imagens biomédicas , como segmentação de imagens do cérebro ('' BRATS '') e segmentação de imagens do fígado ("siliver07"). Variações do U-Net também foram aplicadas para reconstrução de imagens médicas. Aqui estão algumas variantes e aplicações do U-Net como segue:

  1. Regressão pixel-wise usando U-Net e sua aplicação em pansharpening;
  2. 3D U-Net: Aprendendo a segmentação volumétrica densa a partir de anotações esparsas;
  3. TernausNet: U-Net com codificador VGG11 pré-treinado em ImageNet para segmentação de imagens.
  4. Tradução de imagem para imagem para estimar manchas fluorescentes
  5. Previsão do sítio de ligação da estrutura da proteína no projeto computacional de drogas

Implementações

jakeret (2017): "Tensorflow Unet"

Código - fonte U-Net do Reconhecimento de Padrões e Processamento de Imagens do Departamento de Ciência da Computação da Universidade de Freiburg, Alemanha.

Os artigos básicos do sistema foram citados 3693, 7049, 442 e 22 vezes, respectivamente, no Google Scholar em 24 de dezembro de 2018.

Referências