Как преодолеть ограничение переменной Snowflake (16 777 216) для загрузки данных изображения

#json #image #snowflake-cloud-data-platform #variant #varcharmax

Вопрос:

У нас есть сценарий для загрузки столбца изображения с SQL Server, который является нашим исходным кодом, и загрузки в Snowflake, но он не работает из-за «проблемы с длиной строки», поскольку Snowflake имеет ограничения на переменные.

До сих пор мы также пробовали типы данных Varchar и Variant для загрузки этого типа данных изображения, но из-за огромного размера он также не работает для Variant (Snowflake пытается прочитать его как JSON, поэтому мы также попробовали variant).

Есть ли какой-либо способ преодолеть это ограничение длины типа данных Varchar в snowflake.

Ответ №1:

Вам нужно будет обработать это как неструктурированные данные, которые являются недавно выпущенным общедоступным предварительным просмотром.

https://www.snowflake.com/blog/snowflake-launches-unstructured-data-support-in-public-preview/

Это показывает, как начать:

https://docs.snowflake.com/en/user-guide/unstructured-intro.html

Если вы попытаетесь что-то сделать, и это не сработает, вы можете обновить свой вопрос с помощью кода, который вы пытаетесь, и другие могут попытаться помочь.