Hololens 2 Курсор взгляда не выполняет кнопки

#unity3d #hololens #mrtk #gaze-buttons

Вопрос:

Мы работаем над Hololens 2 и создали наш собственный дизайн кнопок, где мы следовали учебнику MRTK. Теперь, к сожалению, мы не можем выполнить кнопки с помощью курсора взгляда в Hololens 2.

Мы используем наш собственный конфигурационный файл, но то же самое справедливо и при использовании defaultHololens2configurationprofile .

Также наблюдается странное поведение (действительное для обоих профилей, упомянутых ранее): при запуске приложения курсор взгляда виден, в тот момент, когда мои руки распознаются, курсор взгляда исчезает (все хорошо до сих пор), но когда я убираю руки за спину, курсор взгляда больше не появляется.

У кого-нибудь есть подобная проблема, знает ли кто-нибудь, как ее решить, или наблюдал что-то подобное?

Мы используем:

     Unity 2020.3.6f1
    MRTK 2.7.0
    All XR Packages up to date, except XR Plugin Management 4.0.1

Вот несколько скриншотов, к компонентам которых прикреплены наши кнопки:

Ура и спасибо за помощь

Ответ №1:

Причина в том, что MRTK в настоящее время спроектирован таким образом, что на расстоянии лучи рук действуют как указатели приоритетного фокуса, поэтому взгляд глаза подавляется в качестве ввода курсора, если используются лучи рук.

Если вы хотите использовать фокусировку глаз и лучи рук одновременно, пожалуйста, следуйте этой документации:Используйте лучи рук и ввод взгляда одновременно. Однако, таким образом, голосовая команда будет единственным способом взаимодействия с голограммой, на которой фокусируется внимание.

Кроме того, если вы хотите поддерживать взаимодействие «взгляд и щипок», вам необходимо отключить луч руки в соответствии с этим документом:Как поддерживать взгляд движения рук (взгляд и жесты рук)

1. Спасибо за ответ. Я только что попробовал первую ссылку, которую вы предоставили, к сожалению, она не сработала :S Тестирует ее в демонстрационной версии Handtracking есть кнопки, которыми можно управлять взглядом и голосом, но в демонстрационных версиях курсор в центре лица является предпочтительным вариантом. Я постараюсь сделать еще немного, но если у вас есть дополнительные материалы, всегда пожалуйста.

2. Не могли бы вы ознакомиться с нашими уже настроенными примерами отслеживания глаз MRTK с множеством замечательных примеров, на которых вы можете непосредственно опираться?

3. спасибо за идею. Просто создайте пример отслеживания глаз. К сожалению, также там отслеживание глаз не работает должным образом: я могу посмотреть на меню и увидеть курсор на нем, теперь, когда я говорю «выбрать», появляется сообщение «выбрать», но «щелчок» не выполняется. Также я включил профиль отслеживания глаз в нашу сцену и то же самое поведение. Вы знаете, откуда это может взяться, или мне следует опубликовать ошибку в Github? Овации

4. Мы рекомендуем сначала запустить процесс калибровки вручную (пожалуйста, перейдите в раздел Система > Калибровка >> Калибровка глаз >>> Выполнить калибровку глаз). Для получения дополнительной информации, пожалуйста, смотрите: docs.microsoft.com/en-us/hololens/…

5. Я провел калибровку глаз, и она все еще не работает. Используя мой старый проект, который работает на MRTK с 2.3 по 2.4, выбор кнопок и взгляд работали просто отлично. То же устройство и та же калибровка глаз.

Ответ №2:

Я подал следующую проблему на GitHub, и она исследуется — голосовая команда «Выбрать» не запускает соответствующие события при использовании OpenXR на HoloLens 2