Блог

Я учусь помечать части речи, применяя трансформационные правила. Первый шаг — пометить возможные значения POS для каждого слова в тексте, используя словарь типа:

 communicative JJ
communicator NN
communicators NNS
communion NN
communique NN
communiques NNS
communism NN
  

Второй шаг — применить трансформационные правила для изменения тегов. У меня есть только очень маленький словарь, содержащий вышеуказанные пары слово / тег. Где я могу найти большой словарь и где я могу найти трансформационные правила? Говорят, что для тегов, основанных на преобразовании, может быть много правил. Где я могу найти правила?

Заранее благодарю вас.

Вы бы получили возможности из корпуса, такого как те, которые доступны в NLTK. Это также дало бы вам частоты, по которым можно оценивать вероятности, если вы хотите использовать теги с машинным обучением (в стиле Brill).

Правила должны быть составлены вручную, после чего обучающийся машинному обучению сможет узнать, когда какие из них применять. Правила английского языка см., например, в докторской диссертации Брилла.