Блог

Главная - Вопросы по программированию - Можно ли получить доступ к данным отслеживания глаз, таким как диаметр зрачка, на hololens 2?

Можно ли получить доступ к данным отслеживания глаз, таким как диаметр зрачка, на hololens 2?

#c# #unity3d #hololens #mrtk #windows-mixed-reality

#c# #unity3d #hololens #mrtk #windows-смешанная реальность

Вопрос:

Есть ли способ хранить и просматривать данные отслеживания глаз, такие как размер зрачков пользователя или скорость движения глаз?

В настоящее время я создаю приложение hololens 2 в Unity с использованием MRTK. Теперь я хотел бы «записывать», хранить и просматривать данные отслеживания глаз пользователя.

Комментарии:

1. Доступные данные отслеживания глаз -> Нет. Единственная доступная информация — это луч взгляда глаза (исходная точка направление) для каждого глаза -> да, вы можете сравнить данные лучи с предыдущим образцом, чтобы рассчитать «скорость» …. в общем, хотя: обычно глаза не «двигаются» слишком сильно ^^ моибольше вращения 😉

Ответ №1:

Я не верю, что вы можете получить диаметр зрачка, но, похоже, вы могли бы оценить угловую скорость, измеряя изменение направления взгляда между кадрами:

 Vector3 previousGazeDir;

// ...

Vector3 newGazeDir = CoreServices.InputSystem.EyeGazeProvider.GazeDirection;

if (previousGazeDir != Vector3.zero)
{
    float gazeAngle = Vector3.Angle(previousGazeDir, newGazeDir);

    float gazeAngularVelocity = gazeAngle/Time.deltaTime;

    // .. do stuff with gazeAngularVelocity
}

previousGazeDir = newGazeDir;

В зависимости от вашего конкретного варианта использования вы можете учитывать изменения в направлении, в котором повернута голова.

Комментарии:

1. Это очень помогает, спасибо за короткий фрагмент кода. Я заметил, что MRTK также предлагает скрипт под названием «BasicInputLogger», который уже отслеживает и сохраняет некоторую информацию о взгляде. Вы уже работали с этим скриптом?

2. Нет, на самом деле я вообще не работал с MRTK: D Я собрал это вместе, просто прочитав документы 🙂

Ответ №2:

Hololens 2, похоже, поддерживает отслеживание глаз, а также, похоже, интегрируется с Unity через инструментарий Mixed Reality. Хотя я не использовал инструменты отслеживания глаз для Hololens, я могу сказать, что, отслеживая направление взгляда кадр за кадром, можно определить «скорость движения глаз». Размер зрачка, который я не видел в API отслеживания глаз, которые я использовал, и я не вижу его в связанной документации.

Практически все, что вы можете отследить в коде, может быть «записано».

Комментарии:

1. Спасибо вам за быстрый ответ. К сожалению, я полагаюсь на диаметр зрачка. Я хочу использовать эти данные для автоматического определения эмоций. Похоже, мне нужно найти другой способ, например, отслеживать движения головы или тон голоса.

Метки: ,