Блог

Примерно в эпоху номер 57 моего CNN, когда контрольная точка модели сохраняется, я получаю сообщение об ошибке:

 OSError: Unable to create file (unable to open file: name = 'BestF1_SMOTE_UP_Transf.hdf5'
 

Дело в том, что модели сохраняли find до этого момента. Просто взглянув на результат, он сохранил модель примерно на 15 контрольных точках. Затем внезапно он перестал работать.

Я не знаю, что попробовать, я в тупике. Потому что до этого момента он работал нормально. Что-то происходит между эпохами 56 и 57. Немного погуглив проблему, я нашел людей, которые понизили свою версию Keras, но это немного радикально. Последние пару месяцев я сохранял модели без проблем. На самом деле мои другие модели сейчас сохраняются нормально. Только этот конкретный.. (Я использую VGGNet в качестве средства извлечения функций, если это имеет значение).

Имя файла и контрольная точка, о которых идет речь:

 save_path = 'BestF1_SMOTE_UP_Transf.hdf5'

# save highest F1 out of all epochs 

checkpoint = ModelCheckpoint(save_path, 
                             monitor='val_f1_score',
                             verbose=1, save_best_only=True,
                             mode='max')

# reduce learning rate if F1 stagnates

reduce_lr = ReduceLROnPlateau(monitor='val_f1_score',
                              factor=0.2,patience=5,
                              min_lr=0.0001)

historynew = model.fit(train_features_vgg,ytrain,
                       batch_size=batch_size,
                       callbacks=[reduce_lr,checkpoint],
                       epochs=400,
                       validation_data=(validation_features_vgg, ytest),
                       verbose=1)
 

Полная трассировка здесь:

 Epoch 00056: val_f1_score improved from 0.92658 to 0.92772, saving model to BestF1_SMOTE_UP_Transf.hdf5
Epoch 57/400
14243/14243 [==============================] - 5s 321us/step - loss: 0.0125 - auroc: 1.0000 - precision: 0.9965 - recall: 0.9980 - f1_score: 0.9973 - val_loss: 0.4475 - val_auroc: 0.9607 - val_precision: 0.9149 - val_recall: 0.9434 - val_f1_score: 0.9289

Epoch 00057: val_f1_score improved from 0.92772 to 0.92892, saving model to BestF1_SMOTE_UP_Transf.hdf5
---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-38-9b31dbe220b2> in <module>
      9 reduce_lr = ReduceLROnPlateau(monitor='val_f1_score', factor=0.2,patience=5, min_lr=0.0001)
     10 
---> 11 historynew = model.fit(train_features_vgg,ytrain, batch_size=batch_size,callbacks=[reduce_lr,checkpoint],epochs=400,validation_data=(validation_features_vgg, ytest),verbose=1)
     12 

~Anaconda3envsTensorflowlibsite-packageskerasenginetraining.py in fit(self, x, y, batch_size, epochs, verbose, callbacks, validation_split, validation_data, shuffle, class_weight, sample_weight, initial_epoch, steps_per_epoch, validation_steps, **kwargs)
   1037                                         initial_epoch=initial_epoch,
   1038                                         steps_per_epoch=steps_per_epoch,
-> 1039                                         validation_steps=validation_steps)
   1040 
   1041     def evaluate(self, x=None, y=None,

~Anaconda3envsTensorflowlibsite-packageskerasenginetraining_arrays.py in fit_loop(model, f, ins, out_labels, batch_size, epochs, verbose, callbacks, val_f, val_ins, shuffle, callback_metrics, initial_epoch, steps_per_epoch, validation_steps)
    215                         for l, o in zip(out_labels, val_outs):
    216                             epoch_logs['val_'   l] = o
--> 217         callbacks.on_epoch_end(epoch, epoch_logs)
    218         if callback_model.stop_training:
    219             break

~Anaconda3envsTensorflowlibsite-packageskerascallbacks.py in on_epoch_end(self, epoch, logs)
     77         logs = logs or {}
     78         for callback in self.callbacks:
---> 79             callback.on_epoch_end(epoch, logs)
     80 
     81     def on_batch_begin(self, batch, logs=None):

~Anaconda3envsTensorflowlibsite-packageskerascallbacks.py in on_epoch_end(self, epoch, logs)
    444                             self.model.save_weights(filepath, overwrite=True)
    445                         else:
--> 446                             self.model.save(filepath, overwrite=True)
    447                     else:
    448                         if self.verbose > 0:

~Anaconda3envsTensorflowlibsite-packageskerasenginenetwork.py in save(self, filepath, overwrite, include_optimizer)
   1088             raise NotImplementedError
   1089         from ..models import save_model
-> 1090         save_model(self, filepath, overwrite, include_optimizer)
   1091 
   1092     def save_weights(self, filepath, overwrite=True):

~Anaconda3envsTensorflowlibsite-packageskerasenginesaving.py in save_model(model, filepath, overwrite, include_optimizer)
    377         opened_new_file = False
    378 
--> 379     f = h5dict(filepath, mode='w')
    380 
    381     try:

~Anaconda3envsTensorflowlibsite-packageskerasutilsio_utils.py in __init__(self, path, mode)
    184             self._is_file = False
    185         elif isinstance(path, str):
--> 186             self.data = h5py.File(path, mode=mode)
    187             self._is_file = True
    188         elif isinstance(path, dict):

~Anaconda3envsTensorflowlibsite-packagesh5py_hlfiles.py in __init__(self, name, mode, driver, libver, userblock_size, swmr, **kwds)
    310             with phil:
    311                 fapl = make_fapl(driver, libver, **kwds)
--> 312                 fid = make_fid(name, mode, userblock_size, fapl, swmr=swmr)
    313 
    314                 if swmr_support:

~Anaconda3envsTensorflowlibsite-packagesh5py_hlfiles.py in make_fid(name, mode, userblock_size, fapl, fcpl, swmr)
    146         fid = h5f.create(name, h5f.ACC_EXCL, fapl=fapl, fcpl=fcpl)
    147     elif mode == 'w':
--> 148         fid = h5f.create(name, h5f.ACC_TRUNC, fapl=fapl, fcpl=fcpl)
    149     elif mode == 'a':
    150         # Open in append mode (read/write).

h5py_objects.pyx in h5py._objects.with_phil.wrapper()

h5py_objects.pyx in h5py._objects.with_phil.wrapper()

h5pyh5f.pyx in h5py.h5f.create()

OSError: Unable to create file (unable to open file: name = 'BestF1_SMOTE_UP_Transf.hdf5', errno = 13, error message = 'Permission denied', flags = 13, o_flags = 302)
 

Я решил эту проблему, введя admin CMD.

Пожалуйста, используйте расширение файла «.h5» для имени файла контрольной точки. Я только что столкнулся с тем же сообщением об ошибке и решил его с его помощью.

Я следовал инструкциям, используя .h5 из учебника TensorFlow Keras.