#java #apache-spark
#java #apache-spark
Вопрос:
Как получить доступ ко времени создания задания с помощью taskcontext. Я планирую получить это время в разных исполнителях и установить его с сохранением данных, которые будут заполнены в последующих процессах. Поскольку время создания задания уникально, даже когда оно извлекается от разных исполнителей, это помогает отслеживать сохраненные данные в одном задании.
Возможно ли получить из TaskMetrics
?
Как получить доступ к классу Jobdata?
Ответ №1:
Я мог бы сделать это с помощью слушателей. Мне пришлось расширить класс SparkListners и отслеживать, когда задание (все задачи для задания) заканчивается и запускается, и выполнять действия в зависимости от этого.