Проблема «отправки в кластер» с использованием кластера Spark в Databricks

#apache-spark #databricks

#apache-spark #databricks

Вопрос:

Я хочу запустить ячейку в записной книжке Databricks, но я получаю сообщение «Отправка в кластер» без конца. Я запускал ту же ячейку раньше без проблем. Я перезапустил кластер, и у меня та же проблема.

введите описание изображения здесь

Кроме того, я тестировал с другим кодом, и у меня такая же проблема: введите описание изображения здесь

Комментарии:

1. Для начала, эта очередь показана на полпути. Во-вторых, о каком кластере вы говорите? В-третьих, как мы можем воссоздать эту базу данных? ddl?

2. попробуйте проверить, есть ли у вас такая же проблема в другом, предпочтительно свежем, кластере. у нас была аналогичная проблема в Azure Databricks, и мы решили ее, создав новый кластер.

3. В конце проблема была исправлена сама собой некоторое время спустя

Ответ №1:

В дополнение к тому, что сказал Марат, создайте новый кластер, но также предоставьте кластеру соответствующие ресурсы — это может быть больше, чем все, что вы предоставили прямо сейчас.

Ответ №2:

Я смог настроить небольшую рамку рабочего листа, такую как print («привет»), и она вернулась. Перейдите к ячейке рабочего листа, в которой возникла проблема. Отсоединить. Перейдите в кластер и убедитесь, что он остановлен. Перейдите на рабочий лист и вставьте строку выше, где находится точка зависания. Затем присоедините его к кластеру.

Введите print («Привет») (python) и нажмите run. Посмотрите, не приведет ли это к немедленному возврату.

Если это так, когда он вернется, попробуйте запустить проблемную ячейку, которая должна быть следующей ниже.

До этого я пробовал: A) Остановить и перезапустить кластер. Б) Переключение на другой кластер C) Создание нового кластера.

Но он просто остается в этом состоянии «Отправки в кластер» и оставался таким в течение нескольких часов. Посмотрим, поможет ли это. Если у кого-нибудь есть дополнительный выбор, который сработал для них, пожалуйста, свяжите его здесь. Спасибо!