Используйте TPU v3 в Google Colab Pro

#python #tensorflow #google-cloud-tpu #google-colaboratory

#python #тензорный поток #google-облако-tpu #google-colaboratory

Вопрос:

Есть ли способ использовать TPU v3 вместо TPU v2 в Google Colab Pro?

К сожалению, я получаю сообщение об ошибке Compilation failure: Ran out of memory in memory space hbm. Used 8.29G of 7.48G hbm. Exceeded hbm capacity by 825.60M. с TPU v2, которое я больше не получаю с TPU v3. Потому что TPU v3 имеет больше памяти.

Кто-нибудь знает возможность / вариант?

С этого я запускаю TPU

 try:
  tpu = tf.distribute.cluster_resolver.TPUClusterResolver()  # TPU detection
  print('Running on TPU ', tpu.cluster_spec().as_dict()['worker'])
except ValueError:
  raise BaseException('ERROR: Not connected to a TPU runtime; please see the previous cell in this notebook for instructions!')


tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
#tpu_strategy = tf.distribute.experimental.TPUStrategy(tpu)
strategy = tf.distribute.TPUStrategy(tpu)

Ответ №1:

Короткий ответ будет отрицательным. Невозможно указать конкретную версию TPU, которую вы хотите. Я полагаю, что Kaggle предоставляет ТПУ v3-8 (которые также могут быть изменены, поскольку они бесплатны). Кроме того, как указано в другом ответе, вы также можете самостоятельно создать платный облачный TPU, для которого вы можете указать конкретное оборудование.

1. Знаете ли вы, как я мог бы использовать Google Cloud TPU в Google Colab?

2. Вы можете выбирать между CPU или GPU или средой выполнения TPU, выбрав accelerator в: Время выполнения> Изменить тип среды выполнения> Аппаратный ускоритель (выпадающий список).

3. Возможно ли использовать SSH в ноутбуке Colab на TPU? Я знаю, как подключить ssh к одному на GPU, но последние несколько часов я просто не могу подключиться к TPU.

Ответ №2:

Насколько я знаю, бесплатная версия Colab не предоставляет возможности выбора ни GPU, ни TPU. Впрочем, как и в версии pro.

Вы можете купить конкретный TPU v3 у CloudTPU за 8,00 долларов США в час, если это действительно необходимо.

Цитата из часто задаваемых вопросов Colab:

Невозможно выбрать, к какому типу графического процессора вы можете подключиться в Colab в любой момент времени. Пользователи, которые заинтересованы в более надежном доступе к самым быстрым графическим процессорам Colab, могут быть заинтересованы в Colab Pro.

1. Назарук спасибо за информацию! Знаете ли вы, как использовать Google Cloud TPU в Google Colab тогда? У вас есть какие-либо ссылки?

2. Я не знаю, как ответить на этот вопрос кратко и ясно. Я могу только сослаться на облачную документацию . Кроме того, у них есть бесплатная пробная версия