#azure-data-factory
Вопрос:
У меня такой сценарий: у меня есть таблица ~ 200 тыс. записей, и мне нужно перебирать каждую строку и вызывать функцию Azure, передающую идентификатор таблицы в качестве параметра. Проблема здесь в том, что, согласно документации, действие ForEach имеет максимальную длину 100 000 элементов, я не знаю, неправильно ли я понимаю область foreach. Есть ли какой-либо обходной путь
Комментарии:
1. Как вы получаете 200 тыс. записей в первую очередь, используете ли вы поиск?
2. Да, я использую поиск
Ответ №1:
Создайте двухуровневый конвейер, в котором внешний конвейер с действием ForEach повторяет внутренний конвейер, который выполняет действие на уровне отдельной строки. Внешний конвейер может одновременно принимать 5 тыс. записей и передавать их во внутренний конвейер.