Блог

Главная - Вопросы по программированию - Я сталкиваюсь с ошибкой BrokenPipeError, когда пытаюсь запустить анализ настроений с помощью hugging face

Я сталкиваюсь с ошибкой BrokenPipeError, когда пытаюсь запустить анализ настроений с помощью hugging face

#python #deep-learning #huggingface-transformers #broken-pipe #huggingface-tokenizers

#python #глубокое обучение #huggingface-трансформеры #сломанный канал #huggingface-токенизаторы

Вопрос:

Я сталкиваюсь с ошибкой BrokenPipeError, когда пытаюсь запустить анализ настроений с помощью hugging face. Он возвращает [Ошибка №] 32 сломанной трубы.

Ссылка с общим кодом ‘https://colab.research.google.com/drive/1wBXKa-gkbSPPk-o7XdwixcGk7gSHRMas?usp=sharing ‘

Код

 def create_data_loader(df, tokenizer, max_len, batch_size):
  ds = GPReviewDataset(
    reviews=df.content.to_numpy(),
    targets=df.sentiment.to_numpy(),
    tokenizer=tokenizer,
    max_len=max_len
  )
  return DataLoader(
    ds,
    batch_size=batch_size,
    num_workers=4
  )

Далее следует приведенный ниже код

 BATCH_SIZE = 16
train_data_loader = create_data_loader(df_train, tokenizer, MAX_LEN, BATCH_SIZE)
val_data_loader = create_data_loader(df_val, tokenizer, MAX_LEN, BATCH_SIZE)
test_data_loader = create_data_loader(df_test, tokenizer, MAX_LEN, BATCH_SIZE)

За которым следует

 data = next(iter(train_data_loader))
data.keys()

Я сталкиваюсь с ошибкой с этим « data = next(iter(train_data_loader)) кодом

Ошибка BrokenPipeError: [Errno 32] Broken pipe

Комментарии:

1. Не могли бы вы отредактировать свой вопрос и опубликовать полную трассировку стека ошибок? Определение класса GPReviewDataset и DataLoader также полезно, чтобы помочь вам.

2. Я прикрепил ссылку на блокнот colab. Не могли бы вы, пожалуйста, разобраться в этом? Это было бы действительно полезно

3. На самом деле я не могу воспроизвести эту проблему. Пожалуйста, укажите минимальный воспроизводимый пример, который вызывает эту ошибку.

4. Исправлена ошибка путем изменения num_workers с 4 на 0. Если num_workers = 0, то он будет работать только на локальном компьютере.