Блог

Я перебираю сегмент S3 для обработки файлов. Мое решение основано на этом примере;

https://rubenjgarcia.es/step-function-to-iterate-s3/

Итерация работает нормально, но, к сожалению, я превышаю 25 000 событий, разрешенных одним выполнением, поэтому в конечном итоге происходит сбой. Я знаю, что вам нужно начать новое выполнение функции step, но мне неясно, как сообщить ей, где я нахожусь на текущей итерации. У меня есть подсчет количества обработанных файлов и, очевидно, ContinuationToken. Могу ли я использовать ContinuationToken, чтобы отслеживать, где я нахожусь при переборе сегмента s3, и счетчик, чтобы сообщить ему, когда начинать новое выполнение.

Я прочитал документы AWS https://docs.aws.amazon.com/step-functions/latest/dg/tutorial-continue-new.html но я не уверен, с чего начать применять это к моему собственному решению. Кто-нибудь делал это при переборе объектов в сегменте s3, если вы можете указать мне правильное направление?

Я могу придумать два варианта:

1. в вашем решении вы выполняете итерацию до тех пор, пока есть следующий токен. Вы можете расширить это и создать счетчик и на каждой итерации увеличивать его. И измените свое условие на итерацию до тех пор, пока следующий токен или количество меньше порогового значения.

2. Я предпочитаю использовать вложенный конечный автомат, чтобы преодолеть ограничение в 25 000 событий. Допустим, каждый раз, когда вы считываете 100 элементов из s3. Если вы передадите список на вложенный конечный автомат для их обработки, конечный автомат верхнего уровня не достигнет 25 000 событий, а также вложенного конечного автомата.