#dataset #huggingface-transformers
Вопрос:
Я попытался использовать API набора данных, загруженный моими собственными данными, для обучения модели hunggingface. Это мой код:
train_data= datasets.load_dataset('csv', data_files="/gdrive/MyDrive/project/train.csv") test_data= datasets.load_dataset('csv', data_files="/gdrive/MyDrive/project/test.csv") train_data DatasetDict({ train: Dataset({ features: ['Post', 'Label'], num_rows: 174 }) }) Но в тренажере я получаю это сообщение об ошибке. Что происходит с моим набором данных. Я не нахожу никакой ошибки. Не могли бы вы мне помочь? Спасибо!
trainer = Trainer( model=model, args=training_args, train_dataset=train_data, eval_dataset=test_data ) trainer.train() KeyError Traceback (most recent call last) lt;ipython-input-63-3435b262f1aegt; in lt;modulegt;() ----gt; 1 trainer.train() 5 frames /usr/local/lib/python3.7/dist-packages/datasets/dataset_dict.py in __getitem__(self, k) 44 suggested_split = available_suggested_splits[0] if available_suggested_splits else list(self)[0] 45 raise KeyError( ---gt; 46 f"Invalid key: {k}. Please first select a split. For example: " 47 f"`my_dataset_dictionary['{suggested_split}'][{k}]`. " 48 f"Available splits: {sorted(self)}" KeyError: "Invalid key: 0. Please first select a split. For example: `my_dataset_dictionary['train'][0]`. Available splits: ['train']" Комментарии:
1. Вы пробовали train_dataset=train_data[‘поезд’] ?
2. это работает для train_data. Но как установить значение test_data? когда я запускаю » test_dataset=test_data[‘тест’] «, это показывает мне, что у меня есть ошибка ключа: «тест». Спасибо!
3. Вы можете быстро проверить test_data и взять ключ, который он содержит.