#parquet #data-migration
Вопрос:
Мне нужно перенести тонны файлов parquet (содержащих данные за более чем 6-7 лет, разделенные по дате) из одного кластера в другой кластер в другом центре обработки данных (между двумя компаниями). Между центром обработки данных нет прямого подключения, поэтому я не могу использовать dist_cp. Однако у меня есть доступная настройка платформы, которая может перемещать последовательный файл между этими двумя центрами обработки данных.