Извлечение папки с диска для Google Colab

#deep-learning #path #google-colaboratory

#глубокое обучение #путь #google-colaboratory

Вопрос:

Я пытаюсь запустить модель глубокого обучения в ноутбуке jupyter, и это занимает целую вечность, а также карнель умирает во время обучения. Итак, я пытаюсь запустить его в Google Colab. Я изучил некоторые основы, которые доступны в Интернете, но это мне совсем не помогает. Модель получает набор данных из модуля, по этой ссылке https://github.com/awslabs/handwritten-text-recognition-for-apache-mxnet/blob/master/ocr/utils/iam_dataset.у py есть модуль, который извлекает и предварительно обрабатывает набор данных для обработки с локального компьютера. Я загрузил набор данных в Gdrive, теперь я хочу изменить путь, чтобы этот модуль находил эту папку «dataset». Я застрял на нем в течение 5 дней, и теперь я ничего не понимаю.

Ответ №1:

Я предлагаю вам не загружать набор данных из GDrive в colab напрямую. Это увеличивает время загрузки набора данных.

Google Colab предоставляет некоторое локальное хранилище для вашей работы (около 70 ГБ), которое отображается в правом верхнем углу под панелью оперативной памяти. Перенесите свой набор данных в это хранилище. Вот как вы можете это сделать:-

 import zipfile
from google.colab import drive

zip_ref = zipfile.ZipFile("/content/drive/My Drive/dataset.zip", 'r')
zip_ref.extractall("/content/")
zip_ref.close()
  

Пожалуйста, обратите внимание, что весь ваш набор данных должен быть заархивирован.

Это будет более чем в 20 раз быстрее, чем метод, который вы пытаетесь использовать…

Формат zip-файла.Функция ZipFile () выше:-

zip_ref = zip-файл.ZipFile («/ content / drive / Расположение Zip-файла в GDrive«, ‘r’)

Если вы нажмете на значок папки в левой части интерфейса colab, вы увидите там свой набор данных.

Затем вы можете получить доступ к своему набору данных, используя путь к файлу = ‘/content/dataset’

Комментарии:

1. хорошо. как я могу указать путь .. я имею в виду использование ОС. путь или что-то в этом роде .. мне нужно получить доступ к папкам..

2. Вы можете указать путь в виде строки. Предположим, у вас есть набор данных внутри папки с именем «Мои проекты» в Gdrive. Внутри папки у вас есть dataset.zip . В этом случае вы должны написать:- zipfile . ZipFile («/content/drive/My Projects/dataset.zip «,»r»)

3. если у вас нет другого выбора, кроме как получить доступ к папке в GDrive, вы можете использовать os.chdir( путь к файлу) . Здесь путь к файлу также представляет собой строку типа: «/content/drive/My Projects/dataset/». В этом случае dataset представляет собой обычную папку, а не zip-файл.