#snowflake-cloud-data-platform
#платформа облачных данных snowflake
Вопрос:
Всякий раз, когда я пытаюсь прочитать данные из snowflake в фрейм данных pandas с помощью функции fetch_pandas_all(), ядро ноутбука jupyter умирает
Есть какое-либо решение для этого?
Комментарии:
1. При попытке повторить тот же сценарий (простой выбор) из SageMaker, он зависает, тогда как
write_pandas()сработало. В итоге я прочитал через pyspark, а затем преобразовал в pandas.
Ответ №1:
Я настоятельно рекомендую вам войти в пользовательский интерфейс Snowflake (я называю его WebUI), перейти на вкладку история запросов и просмотреть запрос, который Snowflake получает из вашего ноутбука.
https://docs.snowflake.com/en/user-guide/ui-history.html
Как только вы найдете запрос, который может зависать, вы можете просмотреть профиль запроса, чтобы определить, какие «узлы» запроса занимают больше всего времени, а затем вы можете начать устранение неполадок оттуда.
https://docs.snowflake.com/en/user-guide/ui-history.html#viewing-query-profile
Вы могли бы (и, вероятно, должны) также увеличить ведение журнала в python, чтобы определить, является ли это проблемой Python, я еще не пробовал, но эта новая библиотека ведения журнала выглядит многообещающе.
https://towardsdatascience.com/introducing-pandas-log-3240a5e57e21
Комментарии:
1. Функция fetch_pandas_all() запускается после завершения запроса.