Блог

Предположим, у меня есть огромный CSV-файл, в котором указано, что он содержит 10000 записей, и в нем есть 3 поля, в которых указаны ID, имя и возраст, а также несколько дублирующихся записей. Здесь я хочу удалить дубликаты записей на основе поля ID и сохранить все уникальные записи в базе данных. Как я должен достичь этого в Mulesoft с использованием Anypoint Studio?

Вы можете использовать dataweave для идентификации уникальных записей. А затем вставить в базу данных.

Поток будет таким File Connector(Reading File) >> Dataweave(identify unique records) >> DB connector(DB insert) .

Пожалуйста, обратитесь к этому для получения более подробной информации.

https://docs.mulesoft.com/mule-user-guide/v/3.8/dataweave-operators#distinct-by

Надеюсь, это поможет.

Вы можете попробовать использовать опцию distinct в dataweave и создать вывод в виде самого файла формата csv.

Проверьте ссылку ниже для отдельного оператора.

https://docs.mulesoft.com/mule-user-guide/v/3.9/dataweave-operators#distinct-by