#hadoop #hive #hiveql
#hadoop #улей #hiveql
Вопрос:
Я запускаю приведенный ниже запрос в hive :-
CREATE TABLE IF NOT EXISTS database1.table2
AS SELECT A.company,A.amount,
NTILE(100) OVER(PARTITION BY A.company ORDER BY A.amount DESC) as pct
FROM (select company, amount from database1.table1
where trim(INDICATOR) = 'Debit' and trim(company)='1000' and amount IS NOT NULL)A;
Приведенный выше запрос выполняется идеально для 7 МИЛЛИОНОВ данных. Но при выполнении того же самого для 122M запрос останавливается на 99%.
Комментарии:
1. Проблемы с данными или памятью?
2. это может быть случай искажения данных, у одного из ваших узлов больше данных, чем у остальных.