Блог

Моя главная цель — в любое время проверять FTP-сервер на наличие новых файлов, а затем генерировать .txt-файл, содержащий только новые файлы, скопированные туда. Если новых файлов нет, он ничего не возвращает. Вот что у меня есть на данный момент. Я начал с копирования файлов с сервера в oldlist.txt , затем подключается к FTP-сайту и сравнивает данные с newlist.txt и oldlist.txt и различия, которые я хочу видеть во временном FTP-файле changes.txt . Каждый раз, когда я подключаюсь, я буду менять newlist.txt и сделать это oldlist.txt чтобы я мог сравнить при следующем подключении. Есть ли лучший способ сделать это? Кажется, что мои списки никогда не меняют данные каждый раз. Извините, если это сбивает с толку, спасибо.

 import os
filename = "oldlist.txt"
testing = "newlist.txt"
tempfilename = "Temporary FTP file Changes.txt"

old = open(filename, "r")
oldlist = old.readlines()
oldlist.sort()


from ftplib import FTP
ftp = FTP("ftpsite", "username", "password")
ftp.set_pasv(False)
newlist = []
ftp.dir(newlist.append)
newlist.sort()
ftp.close()

bob = open(testing, "w")
for nl in newlist:
    bob.write(nl   "n")


hello = open(tempfilename, "w")

for c in newlist:
    if c not in oldlist:
    hello.write(c   "n")

bob.close()
old.close()   
hello.close()

os.remove("oldlist.txt")

os.rename("newlist.txt", "oldlist.txt")
  

Немного проще / быстрее преобразовать списки в набор и не беспокоиться о сортировке.

 for filename in set(newlist) - set(oldlist):
    print 'New file: ', filename
  

Кроме того, вместо сохранения списка в файл в виде необработанного текста вы можете использовать модуль shelve для создания постоянного хранилища, к которому удобно обращаться, как к обычному Python dict.

В противном случае ваш код обладает преимуществами простоты и прямолинейности.

Вот проработанный пример:

 from ftplib import FTP
import shelve

olddir = shelve.open('filelist.shl')   # create a persistent dictionary

ftp = FTP('ftp1.freebsd.org')
ftp.login()

result = []
ftp.dir(result.append)
newdir = set(result[1:])

print ' New Files '.center(50, '=')
for line in sorted(set(newdir) - set(olddir)):
    print line
    olddir[line] = ''
print ' Done '.center(50, '=')
olddir.close()
  

Ваша реализация этой схемы является разумной. Я бы не выбрал эту схему для реализации автоматического обмена сообщениями по FTP, если это то, что вы делаете. У этого подхода есть две слабые стороны:

• Он не поддерживает повторяющиеся имена файлов. Любое имя файла, которое встречается в «старой» истории, не будет обнаружено как новый файл. Может быть, это проблема для вас, может быть, нет. Но даже если теперь имена файлов гарантированно уникальны, это не всегда может быть правдой.
• Он не сообщает вам, готов ли новый файл к использованию или нет. Возможно, что новый файл будет обработан во время его загрузки. Некоторые люди применяют правило «без изменения размера в течение X секунд», но это только увеличивает задержку и по-прежнему оставляет уязвимость для разорванных соединений.

Одна из схем, которая похожа, но не имеет ни одной из этих двух проблем, заключается в том, чтобы фактически хранить файл на сервере с зарезервированным именем или в отдельном месте и использовать его временную метку (предпочтительно время модификации самого файла), чтобы решить, какие файлы могут быть безопасно обработаны. Этот файл «семафора» обновляется до текущего времени в качестве последнего шага при загрузке файла. Могут быть обработаны все файлы со временем модификации, более старым, чем временная метка семафора. После обработки все файлы должны быть удалены из папки загрузки, чтобы они не обрабатывались дважды. Я видел, как эта схема хорошо работает в автоматизированном потоке производственных данных.