Дизайн иммерсивной XR: взаимодействие
Ресурсы и рекомендации для иммерсивных устройств расширенной реальности (XR)
Взаимодействие в XR должно быть гибким, удобным и интуитивно понятным. Пользователи ожидают, что смогут взаимодействовать с цифровыми объектами так же, как с физическими.
Естественное взаимодействие
Естественное взаимодействие, такое как жесты, позволяет пользователям перемещаться по контенту, выбирать и перемещать его с помощью рук. Жесты должны:
- Легко осваиваться
- Следовать знакомым шаблонам — таким как нажатие, щипок и свайп на мобильных устройствах
- Быть удобными для многократного использования
Обеспечьте возможность управления одной рукой для основных действий. Не требуйте размашистых повторяющихся движений руками, поскольку они могут вызывать усталость.
Подробнее о жестах в Android XR
Системная навигация
Пользователи должны иметь возможность открывать навигационное меню в любом месте и в любой момент.
В Android XR системное навигационное меню включает:
- Назад: работает так же, как жест «Назад» на телефонах Android
- Лаунчер: открывает главный экран
- Недавние приложения: позволяют открывать, закрывать приложения и переключаться между ними
Мультимодальный ввод
Приложения XR должны поддерживать гибкий мультимодальный ввод: отслеживание движений рук и взгляда, голосовое управление, клавиатуру и мышь, а также контроллеры.
Подробнее о мультимодальном вводе в Android XR
Отслеживание движений рук и взгляда
Отслеживание позволяет пользователям взаимодействовать с виртуальным миром без контроллера.
Отслеживание движений рук
- Прямое взаимодействие: пользователи могут касаться виртуальных объектов в пределах вытянутой руки, захватывать или толкать их
- Лучевое наведение: луч, подобно лазерной указке, исходит из руки и позволяет навести указатель на удалённые элементы; затем выбор выполняется щипковым жестом
Отслеживание взгляда
- Обеспечивает взаимодействие на основе взгляда и его удержания
- Когда пользователь смотрит на объект, активируется состояние наведения
Голосовое управление, клавиатура, мышь и контроллеры
Приложения XR также должны поддерживать голосовой и физический ввод, включая:
- Голосовой ввод текста без использования рук на виртуальных клавиатурах
- Голосовые команды для типовых действий, таких как Открыть настройки или Назад
- Ввод с помощью мыши и клавиатуры для точных операций и работы с большими объёмами текста
- Контроллеры с шестью степенями свободы (6DoF) для игр или сложных операций с 3D-объектами
Движение
В XR укачивание может возникать, когда визуальные сигналы не совпадают с сигналами вестибулярного аппарата (внутреннего уха).
Чтобы обеспечить пользователям комфорт:
- Используйте токены движения со стандартной функцией плавности и увеличенной длительностью
- Поддерживайте стабильную линию горизонта
- Ограничивайте непрерывное движение. Для смены местоположения используйте телепортацию или мгновенное перемещение.
- Используйте эффект «туннельного зрения» или виньетирование, чтобы уменьшить поле зрения во время движения
Обратная связь
Поскольку виртуальные объекты не оказывают физического сопротивления, используйте визуальную, звуковую и сенсорную обратную связь для подтверждения взаимодействия.
Визуальные сигналы
Используйте значки при наведении, индикаторы фокуса, волна, текстовые метки и изменения возвышения, чтобы показывать состояние взаимодействия объекта.
Чтобы показать, что элемент является целью наведения, используйте пространственное возвышение или состояние подсветки.
Пространственный звук
Источники звука можно размещать в 3D-пространстве; они обеспечивают звуковое подтверждение действия. Например, добавляйте звук щелчка при нажатии кнопки.
Тактильная обратная связь
При использовании контроллеров предусмотрите возможность включать и отключать вибрацию, имитирующую ощущение касания объекта или его захвата.