Каков один из способов поиска связанных имен с помощью Интернета?

#python #nlp

Вопрос:

Я имею дело с проблемами устранения неоднозначности имен. Мне интересно, есть ли способ найти все распространенные варианты использования слова, используя Интернет для «краудсорсинга» этих связанных имен.

Например, в моих данных у меня есть термин «Калифорнийский университет в Беркли». Могу ли я использовать поиск Google (или какое-либо другое приложение), чтобы найти все распространенные синонимы «UC Berkeley», такие как «Калифорнийский университет в Беркли», «Беркли», «UCB» и т. Д.?

Я могу себе представить, что это может не вписываться непосредственно в вопрос типа переполнения стека. Я более чем готов сделать репост в другом месте или на другом форуме. Пожалуйста, просто скажите мне, где.

1. Я думаю, что DBpedia может быть полезен здесь

2. Для тех, кто нажимает -1, не могли бы вы сообщить мне, на каких других форумах можно задавать подобные вопросы? Как только я получу ответ, я удалю свой вопрос.

3. Пожалуйста, объясните понижающий голос. Я не понимаю, почему люди не должны задавать такие открытые вопросы. Мы можем провести конструктивное обсуждение здесь.

4. @user3314418 Мне также было трудно найти подходящее место для этих вопросов. Попробуйте группы linkedin — их много для текстовой аналитики / обсуждений nlp. В stackoverflow — избегайте тегов типа «python» 🙂

Ответ №1:

Вы можете использовать FreeBase. Например, страница «Калифорнийский университет в Беркли»: https://www.freebase.com/m/02zd460

имеет поле: /common/topic/alias

в котором перечислены разные распространенные имена для этого университета, хотя некоторые из них могут быть шумными:

 UC Berkeley
Cal
Università della California (Berkeley) it
Universiteit van Californië - Berkeley nl
Universitato de Kalifornio, Berkeley eo
Berkeley
University of California, Berkeley Campus
University of California, Berkeley main campus
Berkeley Üniversitesi tr
California tr
加州大學柏克萊分校 zh-CN
Університет Каліфорнії uk
加州大学伯克利分校 zh-CN
Калифорнийски университет, Бъркли bg
University of California, Berkeley pl
Universiteit van Californië - Berkeley nl
Universitat de Califòrnia a Berkeley ca
Πανεπιστήμιο της Καλιφόρνιας, Μπέρκλεϋ el
加州大學柏克萊分校 zh-TW

1. Это действительно здорово, Дэниел! у вас случайно нет фрагмента примера кода на python для доступа к информации freebase? Похоже, у них есть API?

2. Вы можете использовать API Google для запросов из Freebase. Для этого есть много способов. Сначала посмотрите это: youtube.com/watch?v=m6EdVYt9rgs