Блог

Я пытаюсь больше понять о моделях компьютерного зрения, и я пытаюсь немного изучить, как они работают. В попытке лучше понять, как интерпретировать векторы объектов, я пытаюсь использовать Pytorch для извлечения вектора объектов. Ниже приведен мой код, который я собрал по кусочкам из разных мест.

 import torch
import torch.nn as nn
import torchvision.models as models
import torchvision.transforms as transforms
from torch.autograd import Variable
from PIL import Image



img=Image.open("Documents/01235.png")

# Load the pretrained model
model = models.resnet18(pretrained=True)

# Use the model object to select the desired layer
layer = model._modules.get('avgpool')

# Set model to evaluation mode
model.eval()

transforms = torchvision.transforms.Compose([
        torchvision.transforms.Resize(256),
        torchvision.transforms.CenterCrop(224),
        torchvision.transforms.ToTensor(),
        torchvision.transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
    ])
    
def get_vector(image_name):
    # Load the image with Pillow library
    img = Image.open("Documents/Documents/Driven Data Competitions/Hateful Memes Identification/data/01235.png")
    # Create a PyTorch Variable with the transformed image
    t_img = transforms(img)
    # Create a vector of zeros that will hold our feature vector
    # The 'avgpool' layer has an output size of 512
    my_embedding = torch.zeros(512)
    # Define a function that will copy the output of a layer
    def copy_data(m, i, o):
        my_embedding.copy_(o.data)
    # Attach that function to our selected layer
    h = layer.register_forward_hook(copy_data)
    # Run the model on our transformed image
    model(t_img)
    # Detach our copy function from the layer
    h.remove()
    # Return the feature vector
    return my_embedding

pic_vector = get_vector(img)
  

Когда я делаю это, я получаю следующую ошибку:

 RuntimeError: Expected 4-dimensional input for 4-dimensional weight [64, 3, 7, 7], but got 3-dimensional input of size [3, 224, 224] instead
  

Я уверен, что это элементарная ошибка, но, похоже, я не могу понять, как это исправить. У меня сложилось впечатление, что преобразование «totensor» сделает мои данные 4-d, но, похоже, это либо работает неправильно, либо я неправильно понимаю. Ценю любую помощь или ресурсы, которые я могу использовать, чтобы узнать больше об этом!

Все значения по умолчанию nn.Modules в pytorch ожидают дополнительного пакетного измерения. Если входными данными для модуля являются shape (B, …), то на выходе также будет (B, …) (хотя последующие размеры могут меняться в зависимости от слоя). Такое поведение позволяет эффективно выполнять вывод на пакетах B входных данных одновременно. Чтобы привести свой код в соответствие, вы можете просто unsqueeze добавить дополнительное унитарное измерение в начало t_img тензора перед отправкой его в вашу модель, чтобы сделать его тензором (1, …). Вам также потребуется flatten вывод layer перед его сохранением, если вы хотите скопировать его в свой одномерный my_embedding тензор.

Пара других вещей:

• Вы должны сделать вывод в torch.no_grad() контексте, чтобы избежать вычисления градиентов, поскольку они вам не понадобятся (обратите внимание, что model.eval() это просто изменяет поведение определенных слоев, таких как выпадение и пакетная нормализация, это не отключает построение графика вычислений, но torch.no_grad() делает).

• Я предполагаю, что это просто проблема с копированием и вставкой, но transforms это имя импортированного модуля, а также глобальная переменная.

• o.data просто возвращает копию o . В старом Variable интерфейсе (около PyTorch 0.3.1 и более ранних версий) это было необходимо, но Variable интерфейс был устаревшим еще в PyTorch 0.4.0 и больше не делает ничего полезного; теперь его использование просто создает путаницу. К сожалению, многие учебные пособия все еще пишутся с использованием этого старого и ненужного интерфейса.

Обновленный код выглядит следующим образом:

 import torch
import torchvision
import torchvision.models as models
from PIL import Image

img = Image.open("Documents/01235.png")

# Load the pretrained model
model = models.resnet18(pretrained=True)

# Use the model object to select the desired layer
layer = model._modules.get('avgpool')

# Set model to evaluation mode
model.eval()

transforms = torchvision.transforms.Compose([
    torchvision.transforms.Resize(256),
    torchvision.transforms.CenterCrop(224),
    torchvision.transforms.ToTensor(),
    torchvision.transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])


def get_vector(image):
    # Create a PyTorch tensor with the transformed image
    t_img = transforms(image)
    # Create a vector of zeros that will hold our feature vector
    # The 'avgpool' layer has an output size of 512
    my_embedding = torch.zeros(512)

    # Define a function that will copy the output of a layer
    def copy_data(m, i, o):
        my_embedding.copy_(o.flatten())                 # <-- flatten

    # Attach that function to our selected layer
    h = layer.register_forward_hook(copy_data)
    # Run the model on our transformed image
    with torch.no_grad():                               # <-- no_grad context
        model(t_img.unsqueeze(0))                       # <-- unsqueeze
    # Detach our copy function from the layer
    h.remove()
    # Return the feature vector
    return my_embedding


pic_vector = get_vector(img)
  

model(t_img) Вместо этого

Здесь просто делай—

 model(t_img[None])
  

Это добавит дополнительное измерение, следовательно, изображение будет иметь форму [1,3,224,224] и оно будет работать.