Блог

 import numpy as np
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import (f1_score,precision_score,recall_score)
ifile=open("train_pos.txt")
rows = []
for ln in ifile:
    rows.append({'text': ln, 'class': 1})
ifile.close()
data_frame = pd.DataFrame(rows)
data_frame
 

Этот код выводит:

 text    class
0   Coffee is great and I live close so it's conve...   1
1   I love this place for its coffeeshop feel with...   1
2   I've come here now a couple of times and I lov...   1
3   Nice vibes, just ok food and not too warm serv...   1
4   Not a big breakfast person but this place has ...   1
... ... ...
74241   Henry the bartender makes a stop in at Bijans ...   1
74242   I love the ambiance at Bijan, especially the w...   1
74243   Popped in for Happy Hour, on a hot and stormy ...   1
74244   Update: Â Bijan's came on the scene as a great...   1
74245   The nearly day-glo lime green walls, harsh flu...   1
74246 rows × 2 columns
 

Я пытаюсь выполнить извлечение объектов с помощью countvectorizer с pandas data_frame в качестве входных данных.

Для этого я выполнил код

 count_vect = CountVectorizer() 
X_train_counts = count_vect.fit_transform(data_frame.text)
X_train_counts.shape 

 

Проблема в том, что он выдает мне неправильную форму, когда я запускаю приведенный выше код. Форма выводит (74246, 61803), но она должна выводить (74246, 2). Он выдает правильный вывод при запуске
data_frame.shape

Кто-нибудь знает, почему это происходит и как это исправить?

Любая помощь будет очень признательна!

Возможно, вы путаете fit_transform() с fit(). fit_transform() изучает словарь словаря, а затем преобразует его в матрицу терминов документа. Таким образом, вы получаете матрицу, а не словарь. fit_transform — это то же самое, что выполнить подгонку с последующим преобразованием. Так что, если вы ищете словарь, просто используйте fit()