Блог

Я учусь создавать систему рекомендаций для совместной работы пользователей, где я считываю неявные данные из моей базы данных MySQL с помощью Python: MySql_Connector. С данными о покупке я пытаюсь создать матрицу оценки пользовательских товаров, для которой я преобразовываю строки (700 000 строк) в столбцы с помощью pandas. Я получаю следующую ошибку при запуске pivot со всем фреймом данных.

«Ошибка значения: неупакованный фрейм данных слишком велик, вызывая переполнение int32»

 import mysql.connector
import pandas as pd
import numpy as np
from mysql.connector import errorcode
def readData():
    try:
        mySQLConnection = mysql.connector.connect(host='localhost',
                                             database='testdb',
                                             user='user',
                                             password='pwd')
        cursor = mySQLConnection.cursor(prepared=True)
        sql_select_query = """""" #Removed the select query
        cursor.execute(sql_select_query)
        record = cursor.fetchall()
        return record
    except mysql.connector.Error as error:
        print("Failed to get record from database: {}".format(error))
    finally:
        # closing database connection.
        if (mySQLConnection.is_connected()):
            cursor.close()
            mySQLConnection.close()
            print("connection is closed")

data = readData()
df = pd.DataFrame(data,columns=['user_id','product_id','purchase_count'])
data_pivot = pd.pivot_table(df,index=['user_id'],columns=df['product_id'])
#print(data_pivot.to_string())
  

python_version : 3.6
ос: win7
оперативная память: 16 ГБ
pandas_version: 0.24.2