#apache-spark #pyspark #apache-spark-sql
#apache-spark #pyspark #apache-spark-sql
Вопрос:
Остается ли количество разделов во время и после широкого преобразования равным параметру shuffle.partitions или они возвращаются к исходному после завершения широкого преобразования? Во время широкого преобразования всем разделам в случайном порядке должна быть назначена задача?
Комментарии:
1. Объясните свой вопрос.
2. Во время широкого преобразования данные «разбиваются» на разделы в случайном порядке. Мой вопрос был о том, что происходит с этими разделами после завершения преобразования. Остается ли количество разделов равным разделам в случайном порядке или разделы «группируются» обратно к их исходному номеру.
Ответ №1:
Да, после выполнения широкого преобразования количество разделов возвращается к нормальному. Проверил то же самое, установив разделы spark shuffle, запустив широкое преобразование и установив флажок red.getnump partitions . Вы можете попробовать это с помощью простого задания spark.