#ibm-watson #watson-conversation
#ibm-watson #watson-диалог
Вопрос:
При создании намерения, предназначенного для захвата вопросов, не связанных с темой, следует ли включать тарабарщину (например, «fgufeu ewe qewewe» или другие недопустимые английские фразы)? Я не уверен, увеличивает ли включение таких слов или уменьшает вероятность совпадения намерения не по теме. Я почти уверен, что пользователи будут пытаться нажимать на клавиатуру, чтобы увидеть, как бот реагирует, но то, что они вводят, никогда не будет точно соответствовать приведенному мной примеру тарабарщины.
Ответ №1:
Лучший ответ — протестировать вашу модель после ее создания. Я видел несколько случаев, когда люди делали это, и, похоже, это работает.
Я уверен, что пользователи попытаются затереть клавиатуру, чтобы посмотреть, как реагирует бот,
По опыту вы обнаружите, что то, что, по вашему мнению, будет делать пользователь, и то, что он на самом деле делает, имеет тенденцию сильно отличаться. Особенно, если вы никогда не проводили никаких пользовательских тестов по ходу работы.
Большинство пользователей имеют в виду четкую цель, когда они обращаются к чат-боту / разговорному агенту. Они будут использовать бота в обычном режиме до тех пор, пока не достигнут этого. Даже в этом случае кто-то, нажимающий на клавиатуру, должен ожидать неправильного ответа или «я не знаю».
Комментарии:
1. У нас есть интеграционный тест, который гарантирует, что фразы тарабарщины будут обнаружены как off_topic (чтобы бот мог ответить «я не знаю»), и эти тесты начали давать сбои, когда мы добавили больше примеров для некоторых других намерений. Нашим первым ответом было добавить больше примеров тарабарщины в off_topic intent, но мы не были уверены, поможет это или помешает (поскольку новые примеры никогда не будут точно сопоставлены).
2. Тем не менее, это хороший момент для тестирования пользователей — возможно, наши тесты тестируют что-то, что будет делать только несколько пользователей.
3. Поступило больше отзывов пользователей о том, что пользователи вводят случайные нажатия клавиш и удивляются, что intent не off_topic. Я подозреваю, что пользователи не нажимают на клавиатуру, если пытаются выполнить задачу, но когда они исследуют пределы новой технологии, например, чат-бота, они делают именно это.
4. Это может произойти в UAT, если вы попросите пользователей «ввести что-нибудь» вместо объяснения цели приложения.
5. Наши наблюдения из журнала пользовательского ввода показывают, что пользователи проявляют любопытство и хотят проверить ограничения технологии, даже если цель четко объяснена в предыдущих сообщениях бота.
Ответ №2:
Вы могли бы просто использовать условие, которое всегда истинно, если другие нет. Например, условие «anything_else»