#python #nlp #nltk
Вопрос:
Я использую NLTKWordTokenizer для токенизации предложений, но токенизатор игнорирует такие случаи, как «и/или» или «Ученый/Вычислительный» (который он оставляет как есть). Я тоже хочу иметь возможность маркировать такие шаблоны. Есть какое-нибудь решение для этого?
Комментарии:
1. замените специальные символы пробелом.