Блог

У меня странная проблема, приводящая к неправильному выводу, предоставляемому словосочетаниями NLTK. Короче говоря, когда я передаю объект pandas, созданный в python envi (PyCharm или Jupyter), в функцию, я получаю правильный результат. Когда я сохраняю этот объект в csv и загружаю его в объект pandas, функции возвращают отдельные буквы и / или цифры вместо полных слов. Должно быть, что-то не так с загрузкой csv через pandas, но я понятия не имею, что не так…

вот код.

Функция, которая применяется:

 def counts(x):
    trigram_measures = nltk.collocations.BigramAssocMeasures()
    finder = BigramCollocationFinder.from_documents(x)
    finder.nbest(trigram_measures.pmi, 100)

    s = pd.Series(x)
    ngram_list = [pair for row in s for pair in ngrams(row, 3)]
    c = Counter(ngram_list).most_common(3)

    return pd.DataFrame([(x.name, )   element for element in c], columns=['group', 'Ngram', 'Frequency'])
  

Вот объект:

 d = {'words' : pd.Series((['coffee', 'maker', 'brewing', 'properly', '2', '420', '420', '420'],
    ['galley', 'work', 'table', 'stuck'],
    ['cloth', 'stuck'],
    ['stuck', 'coffee'])),
    'group' : pd.Series([1, 2, 1, 2])}
df_cleaned = pd.DataFrame(d)
  

Затем я применяю функцию сверху некоторые дополнительные функции:

 output = df_cleaned.groupby('group', as_index=False).words.apply(counts).reset_index(drop=True)
  

Результат правильный:

Но когда объект pandas сохраняется и загружается, результат выглядит примерно так:

вот код для сохранения и загрузки:

 df.to_csv('test_file.csv', index=False, sep=',')

df = pd.read_csv('path/test_file.csv',
sep=',', usecols=['group','words']) 
  

Я обнаружил кавычки в загруженном объекте pandas, поэтому я удалил их перед применением функции»

 df = df.replace({''': ''}, regex=True)

output = df_cleaned.groupby('group', as_index=False).words.apply(counts).reset_index(drop=True)
  

Теперь он возвращает неправильные результаты.

Есть ли какие-либо предложения, в какую сторону мне пойти?

Я воспроизвел то, что вы описали в следующих шагах. Я не вижу никаких ошибок

 import pandas as pd
d = {'words' : pd.Series((['coffee', 'maker', 'brewing', 'properly', '2','420', '420', '420'],
    ['galley', 'work', 'table', 'stuck'],
    ['cloth', 'stuck'],
    ['stuck', 'coffee'])),
    'group' : pd.Series([1, 2, 1, 2])}
df_cleaned = pd.DataFrame(d)
df_cleaned
  

Используемая вами функция является

 import nltk
from nltk.util import ngrams
from nltk.collocations import *
from collections import Counter
def counts(x):
    trigram_measures = nltk.collocations.BigramAssocMeasures()
    finder = BigramCollocationFinder.from_documents(x)
    finder.nbest(trigram_measures.pmi, 100)
    s = pd.Series(x)
    ngram_list = [pair for row in s for pair in ngrams(row, 3)]
    c = Counter(ngram_list).most_common(3)
    return pd.DataFrame([(x.name, )   element for element in c], columns=['group', 'Ngram', 'Frequency'])
  

Затем вы применяете counts к данным

 output = df_cleaned.groupby('group', 
            as_index=False).words.apply(counts).reset_index(drop=True)
  

и сохраните результаты в файл

 output.to_csv('test_file.csv', index=False, sep=',')
df = pd.read_csv('test_file.csv',sep=',')
  

Я не вижу никаких проблем