Блог

Я ищу, возможно ли перейти с Airflow на Azure Data Factory. У меня есть REST API, из которого я извлекаю GeoJSON, и я хотел бы экспортировать это в базу данных Postgres с помощью PostGIS. Я пытался сделать это с помощью операции копирования данных, но это обеспечивает только простое сопоставление между полями GeoJSON и аналогичными полями в моей таблице. Обычно я бы использовал ogr2ogr для этого, но не уверен, как подойти к этому с помощью Azure Data Factory.

Кто-нибудь знает, возможен ли мой вариант использования? Если да, как бы вы предложили это сделать?

Я исправил свой собственный вопрос. Я создал функцию Azure, которая запускает Python в самоназначенном контейнере docker (один из вариантов в Azure Functions). Я установил gdal в стандартный контейнер Azure Functions Python Docker и запустил subprocess.run() для выполнения ogr2ogr с параметрами, которые я передаю ему через тело запроса Azure Functions POST. Я могу запустить эту функцию Azure через Azure Data Factory.

Надеюсь, это поможет кому-нибудь еще, кто ищет аналогичный подход.