Блог

Я пытаюсь построить конвейер данных, который вставляет новые строки в таблицу Snowflake, преобразует ее в JSON и отправляет в другой API в качестве запроса HTTP Post.

Пример использования здесь заключается в том, что я беру таблицу транзакций и хочу регистрировать новые транзакции в отдельной службе, которая получает события через их API.

Я думаю, что потоки решат половину головоломки в том, что они дают мне изменения (или вставки) в мою таблицу, но есть ли служба или функция, которая может взять эту таблицу, выполнить необходимые преобразования и отправить ее в отдельный API в качестве запроса HTTP Post?

Любое руководство очень ценится.

Вы должны уметь использовать внешние функции.

Чтобы отправить результаты запроса во внешнюю функцию, я решил закодировать его в виде массива массивов:

 select prophetize(array_construct(
        array_agg(value::float) within group(order by date)
        , array_agg(date::date) within group(order by date))::string) str
from table(result_scan(last_query_id(-1)));
 

Для полного примера посмотрите, что я сделал здесь:

• https://towardsdatascience.com/forecasts-in-snowflake-facebook-prophet-on-cloud-run-with-sql-71c6f7fdc4e3

Как вы сказали, потоки помогут вам отправлять все входящие изменения.