Блог

У меня есть файл data.csv как таковой (где данные — это слова)

 data
data1|data2|data3
data1|data2
data1|data4|data6
data2|data3
data4|data5|data6
data4
data5|data7
 

Я хочу прочитать, сколько раз data1 (например) присутствует, когда присутствует data2. Итак, когда и сколько раз в строках сосуществуют два данных, поскольку я хочу сформировать отношения между ними. Я знаю о методе счетчика, но меня не интересует просто подсчет экземпляров данных.

Как мне это решить? Создавать ли фрейм данных с помощью pd или использовать список?

(редактировать: максимальное количество столбцов в data.csv равно 6)

Желаемый результат будет примерно таким:

 data1-data2: 2
data1-data3: 1
data1-data4: 1
data1-data5: 0 
etc
 

сохранено в файл CSV

Давайте попробуем с get_dummies помощью и combinations :

 from itertools import combinations

df = pd.read_csv('data.csv')
d = df['data'].str.get_dummies('|')

dct = {}
for x, y in combinations(g, r=2):
    dct[f'{x}:{y}'] = d[[x, y]].eq(1).all(1).sum()

# or with dict comprehension
# {'{}:{}'.format(*v): d[[*v]].eq(1).all(1).sum() for v in combinations(g, r=2)}
 

Подробные сведения:

Сначала прочитайте csv файл как фрейм данных pandas :

 print(df)
                data
0  data1|data2|data3
1        data1|data2
2  data1|data4|data6
3        data2|data3
4  data4|data5|data6
5              data4
6        data5|data7
 

Кодируйте значения в data виде фиктивных / индикаторных столбцов:

 print(d)
   data1  data2  data3  data4  data5  data6  data7
0      1      1      1      0      0      0      0
1      1      1      0      0      0      0      0
2      1      0      0      1      0      1      0
3      0      1      1      0      0      0      0
4      0      0      0      1      1      1      0
5      0      0      0      1      0      0      0
6      0      0      0      0      1      0      1
 

генерировать combinations столбцы индикаторов и использовать dict для хранения их частоты встречаемости вместе:

 print(dct)
{'data1:data2': 2,
 'data1:data3': 1,
 'data1:data4': 1,
 'data1:data5': 0,
 'data1:data6': 1,
 'data1:data7': 0,
 'data2:data3': 2,
  ...
  ...
 'data5:data7': 1,
 'data6:data7': 0}
 

Вопрос очень неоднозначный, отсюда и так много разных ответов. Я предполагаю, что здесь вы имеете в виду подсчет комбинаций первого столбца и любого из следующих столбцов.

 import csv
from collections import Counter

counter = Counter()
with open('data.csv') as csvfile:
  reader = csv.reader(csvfile, delimiter='|')
  for line in reader:
    if line[0]:
      for fragment in line[1:]:
        entry = line[0]   '-'   fragment
        counter.update({entry: 1})

print(counter)
 

Вывод:

 Counter({'data1-data2': 2, 'data1-data3': 1, 'data1-data4': 1, 'data1-data6': 1, 'data2-data3': 1, 'data4-data5': 1, 'data4-data6': 1, 'data5-data7': 1})
 

РЕДАКТИРОВАТЬ 1:

Предполагая, что вам нужны какие-либо ненулевые комбинации существующих полей данных:

 import csv
from collections import Counter
from itertools import combinations

counter = Counter()
with open('data.csv') as csvfile:
  reader = csv.reader(csvfile, delimiter='|')
  for line in reader:
    counter.update(combinations(line, 2))

print(counter)
 

Вывод:

 Counter({('data1', 'data2'): 2, ('data2', 'data3'): 2, ('data4', 'data6'): 2, ('data1', 'data3'): 1, ('data1', 'data4'): 1, ('data1', 'data6'): 1, ('data4', 'data5'): 1, ('data5', 'data6'): 1, ('data5', 'data7'): 1})
 

РЕДАКТИРОВАТЬ 2:
Предполагая, что вы хотите, чтобы каждая ячейка данных была объединена с каждой другой ячейкой данных, включая те отношения, которые нигде не отображаются в одной строке:

 import csv
from collections import Counter
from itertools import combinations

counter = Counter()
unique = set()
with open('data.csv') as csvfile:
  reader = csv.reader(csvfile, delimiter='|')
  for line in reader:
    unique.update(line)
    counter.update(combinations(line, 2))
counter.update({entry: 0 for entry in combinations(unique, 2)})
print(counter)
 

Вывод:

 Counter({('data1', 'data2'): 2, ('data2', 'data3'): 2, ('data4', 'data6'): 2, ('data1', 'data3'): 1, ('data1', 'data4'): 1, ('data1', 'data6'): 1, ('data4', 'data5'): 1, ('data5', 'data6'): 1, ('data5', 'data7'): 1, ('data7', 'data5'): 0, ('data7', 'data2'): 0, ('data7', 'data4'): 0, ('data7', 'data6'): 0, ('data7', 'data1'): 0, ('data7', 'data'): 0, ('data7', 'data3'): 0, ('data5', 'data2'): 0, ('data5', 'data4'): 0, ('data5', 'data1'): 0, ('data5', 'data'): 0, ('data5', 'data3'): 0, ('data2', 'data4'): 0, ('data2', 'data6'): 0, ('data2', 'data1'): 0, ('data2', 'data'): 0, ('data4', 'data1'): 0, ('data4', 'data'): 0, ('data4', 'data3'): 0, ('data6', 'data1'): 0, ('data6', 'data'): 0, ('data6', 'data3'): 0, ('data1', 'data'): 0, ('data', 'data3'): 0})
 

Попробуйте выполнить следующее:

 import itertools

with open('yourfile.csv') as f:
    l=f.readlines()

l=[i[:-1] for i in l[:-1]]   [l[-1]] #remove 'n' at the end

res={}

for i in l:
    temp=i.split('|')
    pairs=[k for k in itertools.combinations(temp, 2)]
    for j in pairs:
        if j in res:
            res[j] =1
        elif j[::-1] in res:
            res[j[::-1]] =1
        else:
            res[j]=1
 

Вывод:

 >>>print(res)

{('data1', 'data2'): 2, ('data1', 'data3'): 1, ('data2', 'data3'): 2, ('data1', 'data4'): 1, ('data1', 'data6'): 1, ('data4', 'data6'): 2, ('data4', 'data5'): 1, ('data5', 'data6'): 1, ('data5', 'data7'): 1}
 

Если вам нужны пары, которые имеют 0 вхождений, вы можете сделать следующее:

 s={i for j in res.keys() for i in j}

allpairs=[i for i in itertools.combinations(s,2)]

for i in allpairs:
    if i not in res and (i[1], i[0]) not in res:
        res[i]=0