#amazon-emr #presto #trino #starburst
Вопрос:
У меня есть кластер престо на ЭМИ. У нас также действует политика автоматического масштабирования, основанная на показателях AWS Clouldwatch. У нас есть проблема, когда кластер масштабирует узлы, он не ждет завершения запросов, выполняемых на этих узлах. Это просто убивает все запросы и уменьшает масштаб. Существует свойство, которое любезно отключает узлы, может быть использовано в конфигурации кластера, но у этого есть свои ограничения. Это не работает с trino или prestoSql.Это работает только для Prestodb.
https://docs.aws.amazon.com/emr/latest/ReleaseGuide/presto-graceful-autoscale.html
Я также изучил cooldown период в политике автоматического масштабирования, но, похоже, ни одна из них не работает для нашего кластера. Мне интересно, известна ли эта проблема для prestosql/trino
Комментарии:
1. Я подозреваю, что вы уже видели их к настоящему времени, вы просматривали эти блоги, в которых рассматривается ваша проблема? medium.com/@saharghya/… и medium.com/walmartglobaltech/. … В двух словах, вам нужно сделать это самостоятельно или использовать Starburst.