Блог

В настоящее время я работаю с набором данных, в котором у меня есть два вида изображений: «четкая версия» изображения и «размытая версия» тех же изображений, где размытие было добавлено синтетически. Моя цель состоит в том, чтобы обучить модель, которая использует размытую версию изображений и пытается максимально стереть изображение, чтобы «размытое изображение» было ближе к четкой версии. В литературе архитектура UNet казалась моделью с хорошими результатами. Кроме того, я могу использовать предварительно обученную U-сеть через Pytorch (https://pytorch.org/hub/mateuszbuda_brain-segmentation-pytorch_unet/).

Моя проблема сейчас в следующем: когда я тренирую эту предварительно обученную U-Сеть с помощью своих изображений, а затем пробую ее на своем тестовом наборе, я получаю следующий результат:

Исходное изображение:

Я знаю, что эта предварительно обученная модель обычно используется для сегментации биомедицинских изображений, но я довольно смущен тем, как я должен модифицировать модель, чтобы использовать ее для задачи удаления/реконструкции изображения. У кого-нибудь есть какие-нибудь советы о том, как это сделать?

Я был бы признателен за любую обратную связь 🙂

U-сеть, которую вы используете, предназначена для сегментации (классификации каждого пикселя изображения), в то время как вы пытаетесь уменьшить шум изображения (сделать изображение «более четким»/удалить шум). Это объясняет полученные вами результаты.

Чтобы получить то, что вам нужно, и, как сказал Дерек, вам сначала нужно изменить количество каналов вывода. Изменив его, вы не сможете загрузить всю предварительно подготовленную модель. Вам придется копировать параметры по параметрам до последнего.

Поскольку последний слой инициализируется случайным образом, вы можете переподготовить модель с помощью своего обучающего набора. Вы можете заморозить или не заморозить предварительно подготовленные детали.

Кроме того, я не уверен, что представляет собой ваш новый набор данных, но если он действительно не связан с биомедицинскими изображениями, вам следует переобучить свою сеть с нуля (в этих случаях обучение передаче не должно выполняться), возможно, даже изменить сеть кодировщик-декодер.

Из прилагаемой ссылки:

 import torch
model = torch.hub.load('mateuszbuda/brain-segmentation-pytorch', 'unet',
    in_channels=3, out_channels=1, init_features=32, pretrained=True)
 

Модель, которую вы определяете, имеет один выходной канал, в результате чего выводится изображение в оттенках серого. Вам нужно 3 выходных канала для изображения RGB.