Блог

Главная - Вопросы по программированию - Мастер приложения Spark показывает пустую вкладку исполнителя (и ошибку сервера)

Мастер приложения Spark показывает пустую вкладку исполнителя (и ошибку сервера)

#apache-spark

Вопрос:

Я использую Spark 2.4.7 с HDP 3.1 (заменен на 2.3.2). Все работает нормально, но когда я захожу на страницу мониторинга приложений через пользовательский интерфейс yarn->задание->>Мастер приложений, на странице моей работы отображается пустая вкладка Исполнители (в то время как я знаю, что исполнители выделяются), а ошибка на стороне сервера (скажем, если я запускаю pyspark) находится ниже.

Итак, с помощью инспектора браузера он сообщает мне, что ошибка произошла при вызове URL:

http://name1.xxx:18081/api/v1/applications/application_1615841176380_0770/allexecutors

Затем, после того, как приложение завершится, и yarn укажет на историю, вкладка Исполнитель будет в порядке, показывая данные без ошибок.

Есть идеи, что здесь сломано и как это исправить? Я вроде как понимаю, что это вызов абстрактного метода, который не реализован, но не более того.

Заранее спасибо!

 21/03/25 14:52:11 WARN ServletHandler: Error for /api/v1/applications/application_1615841176380_0770/allexecutors
java.lang.AbstractMethodError: javax.ws.rs.core.UriBuilder.uri(Ljava/lang/String;)Ljavax/ws/rs/core/UriBuilder;
    at javax.ws.rs.core.UriBuilder.fromUri(UriBuilder.java:119)
    at org.glassfish.jersey.servlet.ServletContainer.service(ServletContainer.java:298)
    at org.glassfish.jersey.servlet.ServletContainer.service(ServletContainer.java:228)
    at org.spark_project.jetty.servlet.ServletHolder.handle(ServletHolder.java:848)
    at org.spark_project.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:585)
    at org.spark_project.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1180)
    at org.spark_project.jetty.servlet.ServletHandler.doScope(ServletHandler.java:513)
    at org.spark_project.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1112)
    at org.spark_project.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141)
    at org.spark_project.jetty.server.handler.gzip.GzipHandler.handle(GzipHandler.java:493)
    at org.spark_project.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:213)
    at org.spark_project.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:134)
    at org.spark_project.jetty.server.Server.handle(Server.java:539)
    at org.spark_project.jetty.server.HttpChannel.handle(HttpChannel.java:333)
    at org.spark_project.jetty.server.HttpConnection.onFillable(HttpConnection.java:251)
    at org.spark_project.jetty.io.AbstractConnection$ReadCallback.succeeded(AbstractConnection.java:283)
    at org.spark_project.jetty.io.FillInterest.fillable(FillInterest.java:108)
    at org.spark_project.jetty.io.SelectChannelEndPoint$2.run(SelectChannelEndPoint.java:93)
    at org.spark_project.jetty.util.thread.strategy.ExecuteProduceConsume.executeProduceConsume(ExecuteProduceConsume.java:303)
    at org.spark_project.jetty.util.thread.strategy.ExecuteProduceConsume.produceConsume(ExecuteProduceConsume.java:148)
    at org.spark_project.jetty.util.thread.strategy.ExecuteProduceConsume.run(ExecuteProduceConsume.java:136)
    at org.spark_project.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:671)
    at org.spark_project.jetty.util.thread.QueuedThreadPool$2.run(QueuedThreadPool.java:589)
    at java.lang.Thread.run(Thread.java:745)
Метки: