Блог

Я работаю над 2 большими файлами. В главном файле есть 2 поля, в которых указано имя клиента, а второе поле — идентификатор клиента. У меня есть второй файл, который является подмножеством первого файла и содержит только имена клиентов. Я хочу найти идентификатор клиента среди имен, которые существуют в моем файле подмножества.

Первый файл содержит 30 миллионов строк, а второй файл содержит 5 миллионов строк.

Я пытаюсь сделать это с помощью dictionary, но это занимает огромное время.

Не могли бы вы, пожалуйста, предложить мне лучший способ сделать это.

Вот фрагмент из моего кода и несколько строк из моих файлов.

Основной файл

#

Джон 2343245

Карим 126754

Rob 6543289

Виджай 2247861

Sam 2649860

….

Подмножество второго файла

Сэм

Роб

Джон

 def extract_info(sub_file,master_file):
    sub_fh = open(sub_file,'r',16777216)
    sub_inst_list = []
    for line in sub_fh:
        if line.startswith('#'):
            continue
        else:
            name = line.rstrip()
            sub_inst_list.append(name)
    sub_fh.close()


out_file = "results.rpt"
outf = open(out_file,'w')
bunchsize = 10000
bunch = []
master_fh = open(master_file,'r',16777216)
for line in master_fh:
    if line.startswith('#'):
        continue
    else:
        data = line.split()
        name = data[0]
        if str(data[1]) == "n/a":
            continue
        else:
            if name in sub_inst_list:
                id = str(data[1])
                line = "%-80s %-15sn" % (name, id)
                bunch.append(line)
                if len(bunch) == bunchsize: 
                    outf.writelines(bunch)
                    bunch= []
                outf.writelines(bunch)
  master_fh.close()
  outf.close()
  

Лучший способ — поместить все данные из основного файла в базу данных, а затем выполнить поиск значений на основе ключей из второго файла:

 import sqlite3

conn = sqlite3.connect(":memory:")
c = conn.cursor()
c.execute("CREATE TABLE data (Name VARCHAR(255), ID INT)")

# fill the DB
with open("master.txt") as f:
    for line in f:
        c.execute("INSERT INTO data VALUES (?, ?)", line.split())
conn.commit()

# search for data
with open("slave.txt") as f:
    for line in f:
        print(c.execute("SELECT ID FROM data WHERE Name=:search_name", {"search_name": line.strip()}).fetchall())

conn.close()