#apache-spark #spark-streaming
#apache-spark #spark-streaming
Вопрос:
Когда я смотрю на вкладку заданий в пользовательском интерфейсе spark, я вижу статус задач, подобный 20/20 / (4 не удалось).
Означает ли это, что при неудачных задачах происходит потеря данных? Разве эти неудачные задачи не перемещены в diff executor?
Ответ №1:
Хотя вам следует опасаться неудачных задач (они часто являются показателем основной проблемы с памятью), вам не нужно беспокоиться о потере данных. Этапы были помечены как успешно завершенные, поэтому задачи, которые завершились неудачей, фактически (в конечном итоге) были успешно обработаны.
Комментарии:
1. Спасибо тебе, Гленни.
2. @AKC Хотя задачи, выполняемые с ошибкой в целом, не должны вызывать беспокойства, задачи I, которые часто не выполняются, определенно должны вас беспокоить. Можете ли вы добавить дополнительную трассировку стека и сообщение об ошибке для неудачных задач?