Блог

Я выполняю задания Spark с помощью Spark REST API, как я могу получить stdout и stderr для каждого задания Spark?

Я прочитал документацию по мониторингу и инструментовке.

application API работал хорошо, что отвечало:

 [ {
  "id" : "app-20190308150153-0039",
  "name" : "Spark shell",
  "attempts" : [ {
    "startTime" : "2019-03-08T15:01:52.759GMT",
    "endTime" : "1969-12-31T23:59:59.999GMT",
    "lastUpdated" : "2019-03-08T15:01:52.759GMT",
    "duration" : 0,
    "sparkUser" : "root",
    "completed" : false,
    "appSparkVersion" : "2.3.1",
    "lastUpdatedEpoch" : 1552057312759,
    "startTimeEpoch" : 1552057312759,
    "endTimeEpoch" : -1
  } ]
} ]
  

Итак, я попробовал /applications/[base-app-id]/logs API, подобный:

 wget localhost:4040/api/v1/applications/app-20190308150153-0039/logs
  

но получил сбивающий с толку ответ. Ответ таков

 PK
  

Что PK ? Как получить правильный ответ?