Введение
Устройства дополненной реальности (AR) – умные очки, наголовные дисплеи – накладывают цифровые изображения на реальный мир. Чтобы сделать это убедительно, они должны понимать окружающую среду, отслеживать движения головы и улавливать жесты. Все эти функции зависят от специализированныхмодуль камерыединицы. В отличие от обычной веб-камеры, камерам AR требуется чрезвычайно низкая задержка, высокая частота кадров, глобальный затвор и компактный размер. В этой статье рассматриваются видымодуль камерыиспользовалдля AR-устройств, преимуществаOEM-модуль камерыв индивидуальных проектах, и какUSB-модуль камерыили дажемодуль камеры промышленного эндоскопаможет способствовать развитию AR.
Почему AR-устройствам нужны специализированные камеры
Типичная AR-гарнитура содержит несколько камер:
- Камеры, ориентированные на весь мир– захват реальной сцены для SLAM (одновременная локализация и картографирование) и прохода.
- Камеры слежения за взглядом– отслеживать положение зрачка для рендеринга фовеации и управления курсором.
- Датчики глубины– измерять расстояния для окклюзии и взаимодействия объектов.
Основные требования к ниммодуль камерыединицы:
- Глобальный затвор– отсутствие размытия при движении, когда пользователь быстро двигает головой.
- Высокая частота кадров– 60 или 120 кадров в секунду для отслеживания с малой задержкой.
- Низкая мощность– устройствам с батарейным питанием необходимы эффективные датчики.
- Маленький размер– помещается в тонкие очки или компактную гарнитуру.
- Хорошая производительность при слабом освещении– работает в помещении и ночью.
1. Камеры, обращенные к миру (SLAM и Passthrough)
Часто они бывают монохромными или цветными.модуль камерыдатчики с глобальным затвором. Разрешение варьируется от VGA до 2 МП. Популярные датчики включают OmniVision OV7251 (VGA, глобальный затвор) и Sony IMX214 (роллинговый затвор, используемый с компенсацией движения). Для высококачественных гарнитур,OEM-модуль камерыпроизводители настраивают объектив так, чтобы обеспечить широкое поле зрения (100–150 градусов) без искажений.
A USB-модуль камерыиногда используется в комплектах разработки или привязанных устройствах AR (очках, которые подключаются к ПК). Для автономных гарнитур обычно используется интерфейс MIPI CSI‑2, обеспечивающий низкую задержку.
2. Камеры слежения за глазами
Отслеживание взгляда требует очень быстрого и чувствительногомодуль камерыединицы – часто работают со скоростью 120 кадров в секунду и более. Эти камеры крошечные (часто меньше или равные 1 МП) и располагаются рядом с глазами пользователя. Они должны быть невидимыми или располагаться за ИК-фильтрами. В большинстве модулей отслеживания взгляда используются CMOS-датчики с глобальным затвором и чувствительностью, близкой к инфракрасному диапазону.
Анмодуль камеры промышленного эндоскопанапрямую не используется для отслеживания взгляда (он слишком велик), но методы миниатюризации – крошечные линзы, гибкие печатные платы – имеют прямое значение.
3. Камеры измерения глубины
Устройства AR используют несколько технологий глубины:
Стерео зрение- двамодуль камерыединицы рядом, вычисляя разницу.
Структурированный свет– ИК-проектор имодуль камеры(с ИК-фильтром) прочтите шаблон.
Время полета (ToF)– специальный модуль датчика ToF.
Для стерео,индивидуальный OEM-модуль камерынеобходима пара с заводской калибровкой. Обе камеры должны иметь одинаковые объективы и быть закреплены в жестком корпусе.
4. Камеры для отслеживания жестов и рук
В некоторых устройствах AR используются устройства, обращенные вниз или наружу.модуль камерыустройства для отслеживания рук. Для съемки быстрых жестов им требуется широкое поле зрения и глобальный затвор. Разрешение часто составляет 720p или 1080p.
Почему OEM-модули камер имеют решающее значение для AR
С полкимодуль камерыпродукты редко отвечают всем требованиям AR. АнOEM-модуль камерыподход позволяет:
Пользовательский объектив — определенный угол обзора, диафрагма и профиль искажений.
Нестандартная форма печатной платы – для размещения в ограниченном пространстве.
Индивидуальный интерфейс — MIPI (низкая задержка), а не USB.
Заводская калибровка – для стереопар или выравнивания ToF.
Настройка низкого энергопотребления – для продления срока службы батареи.
Многие AR-стартапы начинаются сUSB-модуль камерыпрототип (с использованием UVC) для тестирования алгоритмов. Как только дизайн созреет, они сотрудничают сOEM-модуль камерыпоставщику для создания готового к производству модуля.
Как модуль камеры промышленного эндоскопа связан с дополненной реальностью
Анмодуль камеры промышленного эндоскопапредназначен для проверки труб – он длинный, тонкий и водонепроницаемый. Хотя методы миниатюризации (линзы малого диаметра, гибкие печатные платы, датчики малой мощности) не используются непосредственно в очках AR, они заимствованы разработчиками AR-камер. Например, 2-миллиметровая камера эндоскопа использует те же крошечные датчики глобального затвора, которые в конечном итоге могли бы поместиться в умные очки.
Основные характеристики камеры для дополненной реальности
| Тип камеры | Разрешение | Частота кадров | Затвор | Интерфейс |
|---|---|---|---|---|
| Обращение к миру (SLAM) | VGA – 2 МП | 60–120 кадров в секунду | Глобальный | МИПИ |
| Отслеживание глаз | 0,3–1 МП | 120 кадров в секунду | Глобальный | МИПИ |
| Глубина (стерео) | 1–2 МП каждый | 30–60 кадров в секунду | Глобальный | МИПИ |
| Отслеживание рук | 720p – 1080p | 30–60 кадров в секунду | Глобальный | МИПИ |
Модуль USB-камеры в прототипировании AR
A USB-модуль камеры(UVC) — отличный инструмент для прототипирования. Вы можете подключить одну или две USB-камеры к ПК и протестировать SLAM, отслеживание рук или оценку глубины с помощью OpenCV. Как только программное обеспечение заработает, вы переходите кOEM-модуль камерыс MIPI для конечного оборудования. Этот двухэтапный подход экономит время и снижает риск.
Модули камер Sure для устройств AR
В искренности мы предоставляеммодуль камерырешения для новых приложений AR:
OEM-модуль камеры– индивидуальный дизайн для взгляда на мир, отслеживания взгляда и глубины стерео.
USB-модуль камеры– для прототипирования и привязанных устройств AR.
Модуль камеры промышленного эндоскопа– Наш опыт миниатюризации напрямую применим к крошечным камерам дополненной реальности.
Краткое содержание
Модули камерыиспользовалдля AR-устройстввключают устройства, обращенные к миру (SLAM), устройства слежения за взглядом, измерения глубины и отслеживания рук. Им нужен глобальный затвор, высокая частота кадров, низкое энергопотребление и компактные размеры. АUSB-модуль камерыотлично подходит для прототипирования, но серийные AR-гарнитуры полагаются наOEM-модуль камерыпроекты с индивидуальными линзами и интерфейсами MIPI. Техники миниатюризации отмодуль камеры промышленного эндоскопаПродукты также приносят пользу разработке камер AR. Независимо от того, создаете ли вы комплект разработчика или гарнитуру массового производства, выбор правильного модуля камеры является ключом к убедительному опыту дополненной реальности.
