Блог

Я изо всех сил пытаюсь выполнить запрос hive. Мои hive confs:

 set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.dynamic.partition=true;
set hive.exec.max.dynamic.partitions=10000;
set mapreduce.map.memory.mb=10000;
set mapreduce.reduce.memory.mb=10000;
set mapreduce.reduce.memory.mb=10000;
set hive.exec.max.dynamic.partitions.pernode=10000;
set hive.execution.engine=tez;
set hive.exec.stagingdir=/tmp/hive/;
set hive.exec.scratchdir=/tmp/hive/;
set hive.groupby.orderby.position.alias=true;
set hive.vectorized.execution.enabled=true;
set hive.exec.parallel=true;
set hive.llap.io.enabled=false;
set hive.exec.orc.default.buffer.size=5600000;
  

После запуска файла hive с помощью nohup, если я прокручиваю его после сбоя запроса, я несколько раз вижу сообщение:

java.io.IOException: java.lang.Исключение IllegalArgumentException: размер буфера слишком мал. размер = 131072 требуется = 5569380

Затем в самом конце:

убит / не удался из-за:OTHER_VERTEX_FAILURE] DAG не удался из-за VERTEX_FAILURE . Неудачные обращения: 1 Убитые обращения: 14

Не уверен, какую другую информацию предоставить? Похоже, что мой последний hive conf не работает, так как я установил его, увидев вывод этой ошибки:

 set hive.exec.orc.default.buffer.size=5600000;
  

Есть ли какие-либо конфы, которые я могу добавить или отредактировать, чтобы повторить попытку?