#amazon-web-services #hive #amazon-dynamodb #amazon-data-pipeline
Вопрос:
Я новичок в aws datapipeline. Попытка импортировать данные из s3 в dynamodb с помощью линий передачи данных. Все работает нормально. Я вижу некоторые данные, импортированные в мою таблицу DynamoDB. Но после импорта некоторых данных я получаю ошибку.
Runtime Error while processing row {"id":"xxxx","sid":xxxx,"region":"xx"} Caused by: java.lang.RuntimeException: com.amazonaws.services.dynamodbv2.model.AmazonDynamoDBException: Provided list of item keys contains duplicates Я не уверен, почему это дает мне эту ошибку.
Мой стек dynamodb выглядит так.
allSsoUsersCountryTable: Type: "AWS::DynamoDB::Table" Properties: AttributeDefinitions: - AttributeName: "sid" AttributeType: "N" KeySchema: - AttributeName: "sid" KeyType: "HASH" BillingMode: "PAY_PER_REQUEST" TableName: !Sub ${RegionBasedTable}-${Stage} SSESpecification: SSEEnabled: true KMSMasterKeyId: !Ref SseKeyId SSEType: "KMS" Комментарии:
1. Первичный ключ таблицы (Свойство схемы ключа в шаблоне Cloudformation) должен быть уникальным. Вы уверены, что при импорте данных из S3 это поле не отображается ни в одном элементе?