NTILE () в hive застревает на 99%

#hadoop #hive #hiveql

#hadoop #улей #hiveql

Вопрос:

Я запускаю приведенный ниже запрос в hive :-

 CREATE TABLE IF NOT EXISTS database1.table2
AS SELECT A.company,A.amount,
NTILE(100) OVER(PARTITION BY A.company ORDER BY A.amount DESC) as pct
FROM (select company, amount from database1.table1
where trim(INDICATOR) = 'Debit' and trim(company)='1000' and amount IS NOT NULL)A;
  

Приведенный выше запрос выполняется идеально для 7 МИЛЛИОНОВ данных. Но при выполнении того же самого для 122M запрос останавливается на 99%.

Комментарии:

1. Проблемы с данными или памятью?

2. это может быть случай искажения данных, у одного из ваших узлов больше данных, чем у остальных.