#escaping #amazon-redshift #snowflake-cloud-data-platform #double-quotes #file-format
Вопрос:
Мы переходим от красного смещения к снежинке. Есть таблица в красном смещении, которая загружается файлом S3. Синтаксис для загрузки файла в red shift следующий
copy edfenormalisedconfzone.address_1
from 's3://aws-d**/addr**.dat'
iam_role 'arn:aws:iam::659**:role/AWS_DUB_**'
delimiter '~' REMOVEQUOTES ACCEPTINVCHARS gzip MAXERROR 1 null as 'NULL' EXPLICIT_IDS;
Соответствующая команда в snowflake
COPY INTO "FLK_DUB_DB_DATALAKE_PRE"."EDFENORMALISEDCONFZONE"."ADDRESS1"
from @FLK_DUB_DB_DATALAKE_PRE.S**.FLK**/SNOWFLAKE/ad**.dat0005_part_00.gz
FILE_FORMAT = (TYPE = CSV,
FIELD_DELIMITER = '~',
NULL_IF = ('NULL', 'NULL')
FIELD_OPTIONALLY_ENCLOSED_BY = '"'
EMPTY_FIELD_AS_NULL = FALSE
COMPRESSION = GZIP
ENCODING = 'UTF8'
FILE_EXTENSION=DAT)
ON_ERROR = ABORT_STATEMENT;
Нет никаких проблем с загрузкой файла в Red-Shift , но файл не загружается в snowflake, и при дальнейшей проверке мы обнаружили, что в таблице есть поле почтового кода, в котором есть две двойные кавычки(«») после тильды(~)
enter code here :47″~» » W!U «»»»» «RU»»~» »
Мы конвертируем формат файла Red Shift в формат файла Snowflake и не уверены, почему это не работает в snowflake.
Комментарии:
1. попробуйте удалить
FIELD_OPTIONALLY_ENCLOSED_BY = '"'из команды копирования снежинки?2. Это не работает, не может распознавать какие-либо типы данных
3. Когда вы говорите, что он не загружается, вы имеете в виду, что он выдает сообщение об ошибке (в этом случае, пожалуйста, добавьте ошибку в свой вопрос) или данные загружены в целевую таблицу, но неверны (в этом случае, пожалуйста, покажите, какие значения существуют в затронутых столбцах)?