Блог

Я использую MySQL с pandas и sqlalchemy. Однако он работает чрезвычайно медленно. Выполнение такого простого запроса, как этот, занимает более 11 минут для таблицы с 11 миллионами строк. Какие действия могли бы улучшить эту производительность? Упомянутая таблица не имеет первичного ключа и была проиндексирована только по одному столбцу.

 from sqlalchemy import create_engine
import pandas as pd
sql_engine_access = 'mysql pymysql://root:[password]@localhost')
sql_engine = create_engine(sql_engine_access, echo=False)
script = 'select * from my_database.my_table'
df = pd.read_sql(script, con=self.sql_engine)
 

Вы можете попробовать наш инструмент connectorx ( pip install -U connectorx ). Он реализован в Rust и нацелен на повышение производительности pandas.read_sql . API в основном такой же, как у pandas . Например, в вашем случае код будет выглядеть так:

 import connectorx as cx
conn_url = "mysql://root:[password]@localhost:port/my_database"
query = "select * from my_table"
df = cx.read_sql(conn_url, query)
 

Если в результате вашего запроса числовой столбец равномерно распределен, как ID, вы также можете еще больше ускорить процесс, используя несколько ядер, подобных этому:

 df = cx.read_sql(conn_url, query, partition_on="ID", partition_num=4)
 

Это разделило бы весь запрос на четыре небольших запроса путем фильтрации по ID столбцу и connectorx выполняло бы их параллельно. Вы можете проверить здесь для получения дополнительной информации об использовании и примерах.

Вот результат теста, загружающий 60 миллионов строк x 16 столбцов из MySQL в фрейм данных pandas с использованием 4 ядер:

Хотя, возможно, это не единственная причина низкой производительности, одним из факторов, способствующих этому, является то, что PyMySQL ( mysql pymysql:// ) может быть значительно медленнее, чем mysqlclient ( mysql mysqldb:// ) при больших нагрузках. В очень неформальном тесте (без многократных запусков, без усреднения, без перезапуска сервера) Я видел следующие результаты, используя df.read_sql_query() локальную базу данных MySQL: