Блог

Главная - Вопросы по программированию - Загрузка файлов с именованного внешнего уровня вместо внешнего расположения

Загрузка файлов с именованного внешнего уровня вместо внешнего расположения

#snowflake-cloud-data-platform

#платформа облачных данных snowflake

Вопрос:

У нас есть файлы данных в формате JSON в облачном хранилище GCP.

Какой из приведенных ниже 2 подходов является идеальным / эффективным способом загрузки его в существующую таблицу snowflake

  1. Используйте GCS в качестве именованного внешнего уровня
  2. Используйте GCS в качестве внешнего расположения для загрузки данных

Если (1), то следует ли нам вызывать конечные точки Snowpipe REST для загрузки данных?

Ответ №1:

«Эффективность» практически одинакова для любого метода, но я бы настоятельно рекомендовал использовать маршрут автоматической загрузки Snowpipe, как описано в этой ссылке:

https://docs.snowflake.com/en/user-guide/data-load-snowpipe-auto-gcs.html

Это работает действительно хорошо и позволяет выполнять проект типа «установи и забудь».

Комментарии:

1. Внимание: Snowpipe по-прежнему является функцией предварительного просмотра в GCP

2. Точно, для GCP SnowPipe автоматический ввод находится в предварительном просмотре. Поэтому я бы предпочел не использовать ее для своих производственных целей.