Время создания задания Spark

#java #apache-spark

#java #apache-spark

Вопрос:

Как получить доступ ко времени создания задания с помощью taskcontext. Я планирую получить это время в разных исполнителях и установить его с сохранением данных, которые будут заполнены в последующих процессах. Поскольку время создания задания уникально, даже когда оно извлекается от разных исполнителей, это помогает отслеживать сохраненные данные в одном задании.

Возможно ли получить из TaskMetrics ?
Как получить доступ к классу Jobdata?

Ответ №1:

Я мог бы сделать это с помощью слушателей. Мне пришлось расширить класс SparkListners и отслеживать, когда задание (все задачи для задания) заканчивается и запускается, и выполнять действия в зависимости от этого.