Как прочитать путь GCS в локальной среде

#tensorflow #machine-learning #google-cloud-platform

#tensorflow #машинное обучение #google-облачная платформа

Вопрос:

Обычно я работаю над машинным обучением в Kaggle / Colab, однако я пытаюсь модулировать свои коды на github. Я сталкиваюсь с одной большой проблемой, когда пытаюсь прочитать файлы из GCS.

Например, у меня есть GCS_PATH = "gs://kds-432679f77c5f716920e51fb4289eb7c6d9d6" и хочу это сделать:

 TRAINING_FILENAMES = tf.io.gfile.glob(GCS_PATH   "/train*.tfrec")
  

Однако мой vscode выдает мне эту ошибку "in get_matching_files_v2 compat.as_bytes(pattern)) tensorflow.python.framework.errors_impl.UnimplementedError: File system scheme 'gs' not implemented (file: 'gs://kds-432679f77c5f716920e51fb4289eb7c6d9d6/train*.tfrec')"

В colab все работает нормально, но в локальной среде сразу происходит сбой. Я новичок в этом, пожалуйста, посоветуйте, как подойти к этой проблеме.

Комментарии:

1. Вы можете проверить открытую проблему с GitHub, связанную с этим.

2. Вы проверили версии библиотеки?

Ответ №1:

Это может быть связано с несовместимостью поддержки версий для gcs. Вы можете попробовать понизить tensorflow_datasets с 3.2.1 до 3.1.0. Смотрите аналогичную проблему ниже: https://github.com/tensorflow/tensorflow/issues/38477#issuecomment-659279614 Удачи вам!