Блог

Поэтому я написал скрипт на python, который извлекал данные JSON (размер варьировался от 50 КБ до 6 МБ на запрос) из различных API, отправляя ~100-200 запросов GET/POST через модуль запросов за запуск. Сценарий был частью мини-процедуры ETL, которую я выполнял с полученными данными. Архитектура скрипта была простой, в нем были функции для каждого метода для различных API, и некоторые из них использовали простые запросы, а некоторые использовали сеансы для подключения к API. В конце концов этот сценарий достиг своего предела и занял ~14-15 минут, чтобы закончить. Это привело к идее переписать скрипт в aiohttp, чтобы ускорить процесс, и теперь мне нужен совет по этому поводу, так как я никогда не использовал асинхронное программирование на Python. Каков наиболее эффективный способ переписать этот сценарий?