Маркировка Hugginface в PySpark — ошибка маринования

#pyspark #aws-glue #tokenize #huggingface-transformers #пыспарк #aws-клей #токенизировать #обнимашки-трансформеры Вопрос: Я пытаюсь использовать токенизаторы huggingface в PySpark env и сталкиваюсь с TypeError: self.c_tagger cannot be converted to a Python object for…