Блог

Главная - Вопросы по программированию - Tensorflow прогнозирует вероятность того, что два предложения будут следовать друг за другом

Tensorflow прогнозирует вероятность того, что два предложения будут следовать друг за другом

#python #tensorflow #keras

#python #tensorflow #keras

Вопрос:

Я использую AWS Textract для извлечения текста из документов, однако некоторые предложения разорваны на части, которые мне нужно собрать вместе с помощью Tensorflow. Я совсем новичок в TensorFlow, поэтому я не знаю, какая конфигурация модели мне нужна для достижения этого. Вот несколько примеров того, что мне нужно, чтобы модель предсказывала. Это входные данные:

 [
 [
  {
   "part": "I think that"
  },
  {
   "part": "TensorFlow is great."
  },
  "label": 1
 ],
 [
  {
   "part": "I'm"
  },
  {
   "part": "computer in the room."
  },
  "label": 0
 ],
]

Мне нужна модель, чтобы предсказать метку, насколько вероятно, что эти две строки будут идти вместе.

Какая архитектура модели мне нужна для этого?

Комментарии:

1. попробуйте трансформатор

2. Вероятно, проще использовать какую-нибудь существующую языковую модель вместо того, чтобы обучать свою собственную; однако попробуйте проверить, дает ли API вам координату ограничивающего прямоугольника, что может упростить задачу.

3. @Andrey Что ты подразумеваешь под трансформатором? Обнимашки? Какая модель делает то, что мне нужно?

4. @FrederikBrammer да. Используйте модель классификации последовательностей. Например, BERT

Ответ №1:

Используйте модель классификации последовательностей, например BERT , из Huggingface transformers.