Блог

Я хотел бы оценить свой скрипт ruta, используя среду тестирования аннотаций, предоставляемую плагином uima ruta для eclipse. Я создал корпус с комментариями вручную. Некоторые аннотации оцениваются как истинно положительные, так и ложноположительные, что не должно быть возможным по определению.

Я уже проверил, есть ли незначительные различия между истинными положительными и ложными срабатываниями, но на самом деле они идентичны (одинаковые смещения).

В качестве опции я выбрал «частичное совпадение».

Когда я проверяю results.xmi, где я вижу истинные положительные, ложные положительные и ложноотрицательные значения в качестве аннотаций, у рассматриваемых аннотаций есть функция ошибки; но дополнительной информации нет.

Истинные положительные и ложные положительные результаты в качестве аннотаций в result.xmi

Рассматриваемые аннотации на самом деле должны быть истинными положительными.

Редактировать: я также заметил, что когда я указываю только один тип (т. Е. Один Тип аннотации) для оценки, все так, как и должно быть. Проблема возникает только тогда, когда предполагается, что оценивается более одного типа.