Блог

С DataFrame.coalesce API мы можем уменьшить количество разделов, я хочу, чтобы та же функциональность использовалась в spark sql, поэтому я бы спросил, как написать sql,

В spark sql я бы хотел, чтобы select * from a было только 10 разделов, которые на самом деле могут содержать более 100 разделов

Хорошо, я нашел JIRA, который точно делает то, что я хочу,https://issues.apache.org/jira/browse/SPARK-24940