Блог

Со вчерашнего дня я искал способ преобразования выходных данных SQL-запроса в фрейм данных Pandas.

Например, код, который делает это :

 data = select * from table 
 

Я перепробовал так много кодов, которые нашел в Интернете, но, похоже, ничего не работает.

Обратите внимание, что моя база данных хранится в Azure DataBricks, и я могу получить доступ к таблице только по ее URL-адресу.

Большое вам спасибо !

Надеюсь, это вам поможет. Как вставка, так и выделение приведены в этом коде для справки.

 def db_insert_user_level_info(table_name):
    #Call Your DF Here , as an argument in the function or pass directly
    df=df_parameter
    params = urllib.parse.quote_plus("DRIVER={SQL Server};SERVER=DESKTOP-ITAJUJ2;DATABASE=githubAnalytics")
    engine = create_engine("mssql pyodbc:///?odbc_connect=%s" % params) 
    engine.connect() 
    table_row_count=select_row_count(table_name)
    df_row_count=df.shape[0]
    if table_row_count == df_row_count:
        print("Data Cannot Be Inserted Because The Row Count is Same")
    else:
        df.to_sql(name=table_name,con=engine, index=False, if_exists='append')
        print("********************************** DONE EXECTUTED SUCCESSFULLY ***************************************************")
        
def select_row_count(table_name):
    cnxn = pyodbc.connect("Driver={SQL Server Native Client 11.0};"
                            "Server=DESKTOP-ITAJUJ2;"
                            "Database=githubAnalytics;"
                            "Trusted_Connection=yes;")

    cur = cnxn.cursor()
    try:
        db_cmd = "SELECT count(*) FROM " table_name
        res = cur.execute(db_cmd)
        # Do something with your result set, for example print out all the results:
        for x in res:
            return x[0]
    except:
        print("Table is not Available , Please Wait...")
 

Используя sqlalchemy для подключения к базе данных, и встроенный метод read_sql_query от pandas, чтобы перейти прямо к фрейму данных:

 import pandas as pd
from sqlalchemy import create_engine

engine = create_engine(url)
connection = engine.connect()
query = "SELECT * FROM table"
df = pd.read_sql_query(query,connection)