#teradata #snowflake-cloud-data-platform
#teradata #snowflake-облачная платформа для обработки данных
Вопрос:
В Teradata мы указываем partition by в огромных таблицах, чтобы ускорить и повысить эффективность поиска данных. В Snowflake, хотя он и выполняет микропереразделение, мы все равно можем указать CLUSTER ПО праву?
Поддерживает ли Cluster by многоуровневое разделение?
Как будет выглядеть ниже в Snowflake?
РАЗБИЕНИЕ ПО ( RANGE_N(trans_dt МЕЖДУ ДАТОЙ ‘2012-12-01’ И ДАТОЙ ‘2025-12-31’ КАЖДЫЙ ИНТЕРВАЛ ‘1’ МЕСЯЦ), CASE_N(rec_ind=’Y’, rec_ind=’N’, rec_ind не в(‘Y’,’n’)));
Комментарии:
1. Я бы не стал приравнивать разбиение Teradata к кластеризации Snowflake напрямую, и я был бы осторожен с несколькими ключами кластера, если таблица не очень большая. Однако без подробностей о том, насколько велика ваша таблица, как она запрашивается и т.д. трудно сделать прямое предложение. Возможно, вам захочется кластеризоваться по тем же полям, по которым вы разбиваете разделы, но это не всегда так.
2. Позволяет ли Snowflake удалять или добавлять ключ кластера без необходимости перемещения данных в новую структуру таблицы с добавлением ключа кластера. В Teradata, чтобы удалить / добавить раздел, мы должны создать резервную таблицу, а затем переместить данные.
3. А как насчет форматирования кластера по команде
4. В общем случае КЛЮЧ КЛАСТЕРА управляет тем, как повторная кластеризация (или автокластеризация) повторно сортирует данные. Но само по себе не создает никакой формы для данных. Если вы вставляете в форму / шаблон, который не соответствует вашему КЛАСТЕРУ, то у вас есть невыровненные данные. За что вы заплатите огромные затраты на автоматическую кластеризацию, чтобы изменить порядок ваших данных. Первое правило — вставляйте свои данные так, как вы хотите их прочитать.
5. @AnkitSrivastava если вы удалите ключ кластера… вам не нужно ничего делать. Если вы добавляете или изменяете ключ кластера, я рекомендую использовать
INSERT OVERWRITEинструкцию сORDER BYпредложением перед изменением ключа кластера, чтобы сэкономить некоторые затраты. Как примечание, кластеризация таблицы в Snowflake НЕ сортирует данные. Он группирует и консолидирует данные на основе столбцов кластера, что на самом деле не сортирует их.