#python #memory-optimization
#python #оптимизация памяти
Вопрос:
привет, я пытаюсь загрузить данные в базу данных (mysql и sqlserver), используя скрипты insert sql в python cur.execute(запрос, (список данных)) , после вставки данных объемом 100 Мб процесс загрузки замедляет каждую запись примерно на 7 минут после 100 мб данных. я запускаю код python в linux redhat 8. как я могу оптимизировать это, чтобы он выполнялся так же, как и первые 100 МБ данных
env: linux оперативная память: 8 ГБ тип экземпляра: t2 средний python 3.8
Комментарии:
1. Запрос дополнительной информации. Пожалуйста, заполните имя t2. # ядра, какие-либо SSD или NVME-устройства на хост-сервере MySQL? Опубликовать на pastebin.com и делитесь ссылками. Из вашего корня для входа в систему SSH текстовые результаты: B) ПОКАЗЫВАЮТ ГЛОБАЛЬНЫЙ СТАТУС; после минимального времени безотказной работы 24 часа C) ПОКАЗЫВАЮТ ГЛОБАЛЬНЫЕ ПЕРЕМЕННЫЕ; D) ПОКАЗЫВАЮТ ПОЛНЫЙ СПИСОК ПРОЦЕССОВ; И дополнительная очень полезная информация, если она доступна, включает — htop ИЛИ top для большинства активных приложений, ulimit -a для списка Linux / Unixиз ограничений iostat -xm 5 3 для операций ввода-вывода по устройствам и количеству ядер / процессоров, для анализа настройки рабочей нагрузки сервера для предоставления предложений.