Блог

Главная - Вопросы по программированию - Ошибка, связанная с «не удается удалить объекты _thread.rlock» при сохранении модели keras с использованием pickle

Ошибка, связанная с «не удается удалить объекты _thread.rlock» при сохранении модели keras с использованием pickle

#python #keras #pickle

#python #keras #pickle

Вопрос:

Я пытаюсь создать классификатор с использованием keras, и ниже приведен мой код:

 import pandas as pd
import numpy as np

import matplotlib.pyplot as plt
import seaborn as sns

from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, confusion_matrix
from sklearn.preprocessing import MinMaxScaler

from collections import Counter
from imblearn.over_sampling import SMOTE

from keras.models import Sequential
from keras.layers import Dense

import pickle
import joblib

import warnings
warnings.filterwarnings('ignore')

df = pd.read_csv('bankloan.csv')
df = df.dropna()
df.isna().any()
df = df.drop('Loan_ID', axis=1)
df['LoanAmount'] = (df['LoanAmount']*1000).astype(int)

pre_y = df['Loan_Status']
pre_X = df.drop('Loan_Status', axis=1)
dm_X = pd.get_dummies(pre_X)
dm_y = pre_y.map(dict(Y=1, N=0))

smote = SMOTE()
X1, y = smote.fit_sample(dm_X, dm_y)
sc = MinMaxScaler()
X = sc.fit_transform(X1)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, shuffle=True)

classifier = Sequential()
classifier.add(Dense(200, activation='relu', input_dim=X_test.shape[1]))
classifier.add(Dense(400, activation='relu'))
classifier.add(Dense(4, activation='relu'))
classifier.add(Dense(1, activation='sigmoid'))
classifier.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
classifier.fit(X_train, y_train, batch_size=20, epochs=100, verbose=0)

filename = 'loan_model.pkl'
joblib.dump(classifier, filename)

Это то, что я пытаюсь сделать, и модель в полном порядке, но на последнем шаге, когда я пытаюсь сохранить модель, она показывает эту ошибку :

Ошибка типа: не удается обработать _thread .Объекты RLock

Комментарии:

1. Взгляните на эту проблему Github , похоже, это проблема с библиотекой, и ничто, с чем SO может помочь

2. Не помогло.

3. Действительно, поскольку проблема не решена на стороне keras (и tbh, я сомневаюсь, что это когда-либо будет, учитывая, что keras полностью интегрируется в TF, и я не думаю, что tf.keras когда-либо можно было удалить)

Ответ №1:

Перед обработкой вашей модели запустите следующий код :

 import types
import tempfile
import keras.models

def make_keras_picklable():
    def __getstate__(self):
        model_str = ""
        with tempfile.NamedTemporaryFile(suffix='.hdf5', delete=True) as fd:
            keras.models.save_model(self, fd.name, overwrite=True)
            model_str = fd.read()
        d = { 'model_str': model_str }
        return d

    def __setstate__(self, state):
        with tempfile.NamedTemporaryFile(suffix='.hdf5', delete=True) as fd:
            fd.write(state['model_str'])
            fd.flush()
            model = keras.models.load_model(fd.name)
        self._dict_ = model._dict_


    cls = keras.models.Model
    cls.__getstate__ = __getstate__
    cls.__setstate__ = __setstate__

make_keras_picklable()