Блог

Я запускаю API, который запускает процедуру хранения в таблице Sqlserver в фрейм данных, а затем возвращает результат пользователю в виде Json. Ниже приведен код, который я написал, который работает.

 def call_proc(sql: str, connection):
    """
    :param sql: Call store procedure
    :return: Successful request - 200. Bad Request - 400.
    """
    try:
        dataframe = pd.read_sql_query(sql, con=connection)
        print(f'duration to run sql: {datetime.datetime.now() - begin}')
        result = dataframe.reset_index(drop=True).to_json(orient="records")
        result = json.loads(result)
        print(f'duration to prepare result: {datetime.datetime.now() - begin}')
        return result, 200
    except Exception as e:
        return {'message': '{error}'.format(error=e)}, 400
    finally:
        logger.info('Closing the connection.')
        connection.close()
 

Строка: sql содержит оператор вызова процедуры хранения.

Результат выглядит следующим образом

 [
    {
        "col1":"val1",
        "col2":"val2",
    },
    {
        "col1":"val1",
        "col2":"val2",
    }
]
 

Выходные данные процедуры хранения содержат 20000 строк.
Когда я запускаю API, который вызывает вышеупомянутый метод, время отклика API составляет 30 секунд, что намного медленнее по сравнению с моим требованием.
Есть ли более быстрый способ преобразовать фрейм данных в Json?

Попытка 2: я также попытался выполнить цикл по фрейму данных, как показано ниже, и вернуть json.

 dataframe = pd.read_sql_query(sql, con=connection)
query_result, json_result = "", {}
for ir in dataframe.itertuples():
    query_result = str(ir[1])
json_result = json.loads(query_result)
return json_result, 200
 

Но в результате получается ошибка:
{ "message": "Expecting value: line 1 column 1 (char 0)" }

Я напечатал время, затраченное на выполнение sql и подготовку json, используя операторы печати, и инструкции печати из моего журнала можно найти ниже. Продолжительность выполнения sql в sql server studio составляет 2 секунды

 duration to run sql: 0:00:06.666858
duration to prepare result: 0:00:08.328360
 

Попытка 3: Использование соединения и SQL

 json_data = []
rv = connection.execute(sql)
for result in rv:
    json_data.append(dict(zip(result.keys(), result)))
return json.dumps(json_data), 200
 

Даже это занимает столько же времени, сколько и при использовании фрейма данных pandas.

Вы

• использование Pandas для загрузки SQL в фрейм данных (который включает в себя вывод типа данных и округление)
• затем с помощью Pandas превратить это в строку JSON
• затем используйте библиотеку JSON Python, чтобы превратить эту строку обратно в список
• затем возвращая это из вашего представления, которое снова строит его.

Вместо этого вы должны

• используйте собственное SQL-соединение, которое у вас уже есть для выполнения запроса
• добавьте строки из этого результата в список
• верните этот список

Вы можете использовать функцию .to_json для преобразования вашего фрейма данных в пример JSON.

 import json
df = pd.DataFrame(
    [["a", "b"], ["c", "d"]],
    index=["row 1", "row 2"],
    columns=["col 1", "col 2"],
)

result = df.to_json(orient="split")
parsed = json.loads(result)
json.dumps(parsed, indent=4)  
{
    "columns": [
        "col 1",
        "col 2"
    ],
    "index": [
        "row 1",
        "row 2"
    ],
    "data": [
        [
            "a",
            "b"
        ],
        [
            "c",
            "d"
        ]
    ]
}