#amazon-web-services #apache-spark #amazon-emr
Вопрос:
Я выполняю шаг EMR(отправку spark) с помощью банки с толстым абажуром, но старая версия библиотек из EMR забирается, вызывая исключения noSuchMethod
Я попробовал затенить банку и установить ниже, но, похоже, ничего не работает. Старые версии на EMR загружаются первыми
spark.driver.userClassPathFirst и spark.исполнитель.userClassPathFirst
Как обеспечить, чтобы классы в app jar имели приоритет над библиотеками EMR