Конвейер Sklearn выдает ошибку ValueError: слишком много значений для распаковки (ожидается 2)

#python #python-3.x #pandas #scikit-learn #pipeline

#python #python-3.x #панды #scikit-learn #конвейер

Вопрос:

Я пытаюсь создать конвейер sklearn, который сначала извлекает среднюю длину слова в тексте, а затем стандартизирует его с помощью StandardScaler .

пользовательский трансформатор

 class AverageWordLengthExtractor(BaseEstimator, TransformerMixin):

    def __init__(self):
        pass
    def average_word_length(self, text):
        return np.mean([len(word) for word in text.split( )])
    def fit(self, x, y=None):
        return self
    def transform(self, x , y=None):
        return pd.DataFrame(pd.Series(x).apply(self.average_word_length))

Моя цель — достичь этого. X — это серия pandas с текстовыми значениями. Это работает.

     extractor=AverageWordLengthExtractor()
    print(extractor.transform(X[:10]))
    sc=StandardScaler()
    print(sc.fit_transform(extractor.transform(X[:10])))

Конвейер, который я создал для этого.

 pipeline = Pipeline([('text_length', AverageWordLengthExtractor(), 'scale', StandardScaler())])

Но pipeline.fit_transform() выдает ошибку ниже.

 Traceback (most recent call last):
  File "custom_transformer.py", line 48, in <module>
    main()
  File "custom_transformer.py", line 43, in main
    'scale', StandardScaler())])
  File "/opt/conda/lib/python3.6/site-packages/sklearn/pipeline.py", line 114, in __init__
    self._validate_steps()
  File "/opt/conda/lib/python3.6/site-packages/sklearn/pipeline.py", line 146, in _validate_steps
    names, estimators = zip(*self.steps)
ValueError: too many values to unpack (expected 2)

1. Ваши скобки находятся в неправильном месте при создании конвейера, должны быть pipeline = Pipeline([('text_length', AverageWordLengthExtractor()), ('scale', StandardScaler())])

2. но это не работает без оценщика в конвейере. Я просто хотел преобразовать данные.

3. Вы получаете ту же ошибку? Что вы подразумеваете под «не работает»?

4. Ваш ответ помог избавиться от одной проблемы :). Я бы пометил это как ответ, но вы не опубликовали его в качестве ответа. Редактировать: отмечено

Ответ №1:

Ваши скобки находятся не в том месте / вы пропустили скобки при создании конвейера, должен быть список кортежей:

 pipeline = Pipeline([
   ('text_length', AverageWordLengthExtractor()), 
   ('scale', StandardScaler())
])

Ответ №2:

Я думаю, вам нужно добавить fit_transform метод в свой класс AverageWordLengthExtractor .