Смайлики считаются неизвестными(UNK) в BERT

#python #nlp #sentiment-analysis Вопрос: Мой исследовательский интерес-влияние смайликов в тексте. Я пытаюсь классифицировать саркастические твиты в тексте. Месяц назад я использовал набор данных, в который я добавил токены, используя: токенизатор.add_tokens("Список…