#hadoop #hive #apache-tez
#hadoop #улей #apache-tez
Вопрос:
Выполнение продолжительного запроса Hive Tez редко завершается с ошибкой:
java.io.IOException: File hdfs://XXX with newer attempt ID 1 is smaller than the file hdfs://YYY with older attempt ID 0
В нашем 20-узловом кластере HDP 3.1.5 (Hive 3.1.0 и Tez 0.9.1) он завершается с ошибкой один раз примерно за 200 выполнений
Ответ №1:
Мы попали в улей-23354
Похоже, у него нет обходного пути. Проблема решена в Hive 4.0.0
Ответ №2:
У меня была такая же проблема с запросом с большим количеством больших соединений. Уменьшение (512 мб -> 16 МБ в моем случае) размера таблиц, которые помещаются в память, а именно hive.auto.convert.join.noconditionaltask.size решило проблему для меня.
Стек: HDP 3.1.4, Tez 0.9.1, Hive 3.1.0.