Блог

мы пытаемся отладить, почему время выполнения запросов presto значительно меняется в течение дня. Мы наблюдаем несколько значительных скачков, некоторые в рабочее время, а некоторые вне рабочего времени. Мы используем EMR версии 5.14 и Presto версии 0.194. Наши данные хранятся в S3 с использованием файлов parquet, созданных Hive. На приведенном ниже графике показано время выполнения одного и того же запроса с течением времени с использованием командной строки Presto. Мы будем признательны за любые идеи / предложения о том, на чем нам следует сосредоточиться или что потенциально может вызвать эти скачки. Спасибо!

Публикую это на случай, если у кого-то еще возникнет эта проблема. В итоге мы отключили статистику hive в hive.properties, и это улучшило производительность.