#sql #pandas #snowflake-cloud-data-platform
#sql #панды #snowflake-cloud-data-platform
Вопрос:
Я ищу способ визуализации статистики таблицы в Snowflake.
Долгий шаг — извлечь значимую выборку данных с помощью python и применить Pandas, но извлекать данные из snowflake несколько неэффективно и небезопасно.
Новый интерфейс Snowflake отображает эту статистику графически, и я хотел бы знать, есть ли способ получить эти данные с помощью запроса или путем просмотра метаданных.
Мне нужно что-то вроде профилирования Pandas, но без внешнего сервера. возможно, snowflake хранит метаданные / статистику о своих столбцах. числовой, категориальный https://github.com/pandas-profiling/pandas-profiling
спасибо за ваши советы.
Комментарии:
1. Основное внимание на вашем скриншоте уделяется не статистике данных в таблице, а просто результату запроса. Например, если вы посмотрите
type
, он просто скажет вам, что в этой таблице 6VARCHAR
столбцов, 2 метки времени и 1 число. То, что вы ищете, предоставляется большинством инструментов BI или каталогов данных. Я предлагаю вам взглянуть на них вместо этого.
Ответ №1:
Вы можете найти много метаинформации в INFORMATION_SCHEMA.
Все представления и табличные функции в Snowflake INFORMATION_SCHEMA можно найти здесь: https://docs.snowflake.com/en/sql-reference/info-schema.html
Ответ №2:
не уверен, что вы говорите о просмотре информационной схемы, как упоминалось, но если вам нужна документация по всему этому новому интерфейсу, он называется SnowSight, вы можете узнать больше там: https://docs.snowflake.com/en/user-guide/ui-snowsight.html
приветствия!
Ответ №3:
На вашем скриншоте выделена не статистика данных в таблице, а просто результат запроса (который выглядит как DESCRIBE TABLE
запрос). Например, если вы посмотрите type
, он просто скажет вам, что в этой таблице 6 VARCHAR
столбцов, 2 метки времени и 1 число.
То, что вы ищете, предоставляется большинством инструментов BI или каталогов данных. Я предлагаю вам взглянуть на них вместо этого.
Вы также можете использовать независимый инструмент, такой как Soda, с открытым исходным кодом.