#apache-spark #pyspark
Вопрос:
Я запускаю потоковое приложение spark в кластере. Прямо сейчас это 2021/05/07 11:16:50 так, и, как вы можете видеть, последние партии были обработаны:
Но как получилось, что есть активные партии 8-часовой давности?:
Почему они не обрабатываются? Как вы можете видеть, все это пустые пакеты, логика обработки пустых пакетов одинакова в коде, но как получилось, что последние пакеты были обработаны, но 13 пакетов 8-часовой давности все еще висят там? Есть какие-нибудь идеи?