#amazon-web-services #apache-spark #apache-zeppelin
#amazon-веб-сервисы #apache-spark #apache-zeppelin
Вопрос:
Вот ошибка, которую я получаю при попытке прочитать json файл из AWS S3 с кластером emr, имеющим следующие настройки: EMR-5.21.0, Spark 2.4.0 и Zeppelin 0.8.0
java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateParser; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 3
Я не загружаю никаких других внешних зависимостей, которые могут неявно импортировать этот класс (только классы spark) У вас есть какие-либо идеи о том, что может вызвать эту проблему?
Спасибо
Комментарии:
1. Не уверен, вызвано ли это, но поддержка Spark 2.4.0 была добавлена в Zeppelin 0.8.1, поэтому не ожидается, что она будет работать в 0.8.0 issues.apache.org/jira/browse/ZEPPELIN-3810
2. Я думаю, что это связано с zeppelin 0.8 и AWS EMR. Та же проблема возникает с spark 2.3.x. А на AWS EMR zeppelin 0.8.1 пока недоступен.