Блог

Я создал программу, которая создает длинные списки данных. В конечном итоге я хочу объединить эти списки в dataframe — но для запуска требуются часы, и за это время может произойти сбой из-за ошибок или исключений. Я исправлю это, но в то же время я хочу сделать списки постоянными, чтобы программа могла снова запускаться с того места, на котором она остановилась.

Первый вопрос: является ли pickle подходящим способом для этого?

Мой метод: Для обработки списков я работаю со списком переменных (строк), которые являются именами списков (listnames). Затем попробуйте загрузить каждый из них из pickle, и если это не удается, потому что файл не существует, тогда он перейдет к созданию пустого списка. Все списки помещаются в словарь. Затем каждый список обрабатывается как list_name.pickle.

 listnames=["listname1","listname2","listname3","listname4","listname5","listname6","slistname7"]
dct = {}

for i in listnames:
    picknm=i ".pickle"
    try:
        dct[i]= pickle.load(open(picknm, "rb"))
        print("List ",i," loaded from pickle")
    except:
        dct['%s' % i] = []
        print("List ",i," failed to load from pickle. List is blank: ",dct[i]," Saving to pickle as",picknm)
        pickle.dump(open(dct[i],picknm,"wb"))
  

Я не могу заставить последнюю строку кода работать. Ошибка «TypeError: требуется целое число (получен тип str)», однако, я думаю, мне нужно выбрать список как «something.pickle», который является строкой.

Также, пожалуйста, можете ли вы в целом критиковать мой код. Спасибо

У вас неправильные аргументы для дампа pickle.

 pickle.dump(dct[i], open(picknm,"wb"))
  

Сначала данные, затем дескриптор файла.
Но на самом деле не вижу смысла сохранять пустой список, если он не открывается?