Блог

Я пытаюсь загрузить более 20 миллионов записей в свою таблицу Dynamodb, используя приведенный ниже код из кластера EMR 5 узлов. Но для полной загрузки требуется больше часов и часов. У меня гораздо больше данных для загрузки, но я хочу загрузить их в течение нескольких минут. Как этого добиться?

Ниже приведен мой код. Я только что изменил исходные имена столбцов, и мне нужно вставить 20 столбцов. Здесь проблема с медленной загрузкой.

 import boto3
import json
import decimal

dynamodb = boto3.resource('dynamodb','us-west')
table = dynamodb.Table('EMP')

s3 = boto3.client('s3')
obj = s3.get_object(Bucket='mybucket', Key='emp-rec.json')
records = json.loads(obj['Body'].read().decode('utf-8'), parse_float = decimal.Decimal)

with table.batch_writer() as batch:
     for rec in rows:
         batch.put_item(Item=rec)
 

Во-первых, вы должны использовать Amazon CloudWatch, чтобы проверить, достигаете ли вы пределов для ваших настраиваемых единиц емкости записи в таблице. Если это так, вы можете увеличить емкость, по крайней мере, на время загрузки.

Во-вторых, код создает пакеты из одной записи, что было бы не очень эффективно. batch_writer() Может использоваться для обработки нескольких записей, например, в этом примере кода из batch_writer() документации:

 with table.batch_writer() as batch:
    for _ in xrange(1000000):
        batch.put_item(Item={'HashKey': '...',
                             'Otherstuff': '...'})
 

Обратите внимание, как for цикл находится внутри batch_writer() ? Таким образом, несколько записей хранятся в одном пакете. Однако ваш пример кода имеет for внешний вид batch_writer() , что приводит к размеру пакета, равному единице.