هنگام توسعه و ارائه دستگاه هایی بر اساس واقعیت افزوده یا واقعیت مجازی، نکته مهم نحوه غوطه ور شدن کاربر در دنیای خیالی این محصولات و در عین حال تعامل با دنیای واقعی است. بنابراین، HMD (دستگاه نصب شده روی سر) باید دستورات کاربر را به خوبی شناسایی کند و آنها را در محیط دقیق خود اجرا کند. به همین دلیل است که گفته می شود اپل در حال توسعه مکانیسم های کنترلی برای دریافت دستورات کاربر است.
شرکت مینگچیتحلیلگر محصولات اپل گفت: هدست های واقعیت افزوده مبتنی بر کوپرتینو به سنسورهای پیشرفته برای تشخیص محیط و دستورات کاربر مجهز خواهند شد که می توان آن را نقطه عطفی در تعامل کاربر با هدست های مجازی یا توسعه یافته توصیف کرد. . کی اینو میگه:
ما فرض می کنیم که نور ساختار یافته هدفون های واقعیت افزوده نه تنها می تواند تغییر در موقعیت کاربر، دست و سایر اشیا را در مقابل چشمان کاربر تشخیص دهد، بلکه درست مانند شناسه چهره، جزئیات پویا را با دست تغییر می دهد. ثبت جزئیات حرکات دست می تواند رابط انسان و ماشین را به سطح دیگری برساند.
کو معتقد است که توانایی هدفون در تشخیص حرکات پیشرفته دست منجر به یک تجربه کاربری کامل می شود که در آن کاربر می تواند به عنوان مثال، دست خود را برای رها کردن بالون به صورت مجازی باز کند. برای دستیابی به این هدف، انتظار می رود اپل چهار مجموعه از سنسورهای سه بعدی را با کیفیت و مشخصات بالاتری نسبت به مدل های مورد استفاده در آیفون پیکربندی کند. این تحلیلگر کیفیت رابط انسان و ماشین را کلید موفقیت آینده هدفون AR اپل می داند و خاطرنشان می کند که قابلیت های این رابط شامل کنترل ژست، تشخیص اشیا و ردیابی چشم، تشخیص عنبیه چشم، کنترل صدا، تشخیص صدا. پوست، تشخیص بیان و هر چیز دیگری – از جمله تشخیص ..
به هر حال، آخرین اختراعات اپل نشان می دهد که این شرکت به دنبال محصولی است که تشخیص دهد دستورات از کجا می آیند و آنها را مستقیماً روی هدست اجرا می کند. این شرکت به طور فزاینده ای از فناوری UWB برای کمک به آیفون برای یافتن یکدیگر استفاده می کند. اپل بارها سیستم‌هایی را با سنسور تداخل سنج مستقل (SMI) برای کاربردهای مشابه آزمایش کرده است و اعتقاد بر این است که کنترلر هدفون نیز از این فناوری استفاده خواهد کرد. هنوز مشخص نیست که آیا لوازم جانبی به همراه دستگاه عرضه می شود یا جداگانه فروخته می شود. اما به نظر می رسد برخی از نمونه های اولیه یک صفحه نمایش لمسی برای تشخیص حرکات یا دکمه ای به نام Digital Crown برای ضبط دستورات دارند.
در اوایل سال جاری، اپل یک پتنت رسانه ای با عنوان «دستگاه ها، روش ها و رابط های کاربری گرافیکی برای تعامل با محیط های سه بعدی» منتشر کرد که ماهیت مشابه مینگچی کو را توصیف می کند. اپل در این پتنت ادعا می کند که از حرکات و مکان های مختلف میکروژست ها و پارامترهای حرکتی مختلف برای تشخیص دستورات اجرا شده در یک محیط سه بعدی استفاده شده است. استفاده از دوربین های میکروژست برای تعامل با محیط سه بعدی به کاربر این امکان را می دهد که آزادانه در محیط فیزیکی حرکت کند. بدون غرق شدن در وسایل جانبی فیزیکی، که به آن اجازه می دهد تا محیط سه بعدی را به طور طبیعی و کارآمدتر کاوش کند.