#apache-spark #kubernetes
Вопрос:
Я обновил версию spark с 2.4.x до 3.1.x. теперь приложение spark запускается, но исполнитель не запускается, и все операции выполняются в драйвере, и через некоторое время у него заканчивается память. может ли кто-нибудь, пожалуйста, помочь мне в этом. никаких изменений в конфигурации сделано не было. изменения, связанные только с зависимостью. я использую spark на kuberenetes
Комментарии:
1. Я не эксперт, но думаю, что смогу пролить немного света. Недавно я прочитал здесь, что spark завершает работу с рабочими с кодом выхода 137, что именно то, что kubernetes интерпретирует как OOM. Возможно, вам придется покопаться и внести некоторые изменения в конфигурацию, потому что вы только что обновили основную версию.