Блог

Я пытаюсь выполнить запрос к нескольким фреймам данных, каждый из которых состоит примерно из 4 паркетов, за исключением того, что один из них состоит примерно из 1800 файлов parquet.

Экземпляры EMR настроены на автоматическое масштабирование. Когда я пытаюсь выполнить запрос с более чем 3 объединениями, выполнение зависает.

Я перепробовал все, что мог, увеличив время ожидания, включив перетасовку, динамическое распределение и широковещательную передачу. Ниже приведена конфигурация spark:

 spark.network.timeout=4800
spark.executor.heartbeatInterval=4200
spark.sql.broadcastTimeout=3600
spark.sql.autoBroadcastJoinThreshold=209715200
spark.shuffle.service.enabled=true
spark.dynamicAllocation.enabled=true
 

Это выходной журнал, который я продолжаю получать в конце без дальнейших ошибок / исключений.

 .Logging$class.logInfo(Logging.scala:54)ogger{39} : Shuffle files lost for host: ip-152-20-116-20.eu-central-2.compute.internal (epoch 7)
.Logging$class.logInfo(Logging.scala:54)ogger{39} : Shuffle files lost for host: ip-172-23-216-128.eu-central-1.compute.internal (epoch 8)
.Logging$class.logInfo(Logging.scala:54)ogger{39} : Shuffle files lost for host: ip-172-23-219-85.eu-central-1.compute.internal (epoch 9)
.Logging$class.logInfo(Logging.scala:54)ogger{39} : Shuffle files lost for host: ip-172-23-218-123.eu-central-1.compute.internal (epoch 4)
.Logging$class.logInfo(Logging.scala:54)ogger{39} : Shuffle files lost for host: ip-172-23-216-84.eu-central-1.compute.internal (epoch 5)
.Logging$class.logInfo(Logging.scala:54)ogger{39} : Shuffle files lost for host: ip-172-23-218-159.eu-central-1.compute.internal (epoch 6)
.Logging$class.logInfo(Logging.scala:54)ogger{39} : Shuffle files lost for host: ip-172-23-219-86.eu-central-1.compute.internal (epoch 7)