De nouveaux brevets Apple révèlent un système de contrôle du regard du casque XR qui peut interpréter les différents gestes de la main de l'utilisateur dans les environnements MR

En mai 2023, l'Office européen des brevets et des marques a publié une demande de brevet d'Apple qui concerne techniquement un système informatique avec un ou plusieurs composants de génération d'affichage et un ou plusieurs périphériques d'entrée qui offrent des expériences générées par ordinateur, y compris, mais sans s'y limiter, les appareils électroniques qui fournissent expériences de réalité virtuelle et de réalité mixte via un ou plusieurs écrans.En termes pratiques , le brevet d'Apple permet aux utilisateurs du futur casque XR d'Apple d'utiliser divers gestes de la main pour contrôler ou déplacer des objets que l'utilisateur verra dans les environnements AR/VR/MR/XR en utilisant l'entrée du regard d'un système de suivi du regard. Les caméras sur ou dans le casque utilisent la cartographie de profondeur pour distinguer les gestes de la main.

Apple note dans ses antécédents en matière de brevets que les méthodes et les interfaces d'interaction avec des environnements comprenant au moins certains éléments virtuels (par exemple, des applications, des environnements de réalité augmentée, des environnements de réalité mixte et des environnements de réalité virtuelle) sont lourdes, inefficaces et limitées.

Par exemple, les systèmes qui fournissent une rétroaction insuffisante pour effectuer des actions associées à des objets virtuels, les systèmes qui nécessitent une série d'entrées pour obtenir un résultat souhaité dans un environnement de réalité augmentée et les systèmes dans lesquels la manipulation d'objets virtuels est complexe, fastidieuse et sujette aux erreurs. , créent une charge cognitive importante pour un utilisateur et nuisent à l'expérience utilisateur avec l'environnement de réalité virtuelle/augmentée. De plus, ces méthodes prennent plus de temps que nécessaire, gaspillant ainsi de l'énergie. Cette dernière considération est particulièrement importante dans les dispositifs fonctionnant sur batterie.

Dans certains modes de réalisation, le système informatique peut distinguer le mouvement de la main d'un utilisateur sur la base du type de prise ou de posture de la main qui est maintenue pendant le mouvement de la main de l'utilisateur. Le type de prise ou de posture de la main se distingue en fonction de la position des doigts sur une main respective, de l'orientation d'une main respective, du nombre de mains formant la prise, de la position et de l'orientation relatives des mains formant la prise, ou d'un combinaison de deux ou plusieurs des éléments ci-dessus, etc.

Dans certains modes de réalisation, une fois qu'une position de destination ou une position d'ancrage est sélectionnée, si un objet virtuel mobile est présent à la position de destination ou à la position d'ancrage, le système informatique reconnaît le mouvement de la main de l'utilisateur comme une demande de déplacement de l'objet virtuel par rapport aux trois- environnement dimensionnel (et par rapport à la position virtuelle de l'utilisateur ou au point de vue de la vue actuellement affichée de l'environnement tridimensionnel) si la ou les mains de l'utilisateur sont dans un premier type de prise lors du mouvement de la main ; et le système informatique reconnaît le mouvement de la main de l'utilisateur comme une demande de déplacement du point de vue par rapport à l'objet virtuel (et par rapport à l'environnement tridimensionnel) si la ou les mains de l'utilisateur sont dans un second type de prise différent du premier type de prise.

Dans le brevet FIG. 2 ci-dessous, nous voyons un schéma fonctionnel illustrant un contrôleur d'un système informatique qui est configuré pour gérer et coordonner une expérience CGR pour l'utilisateur. Le contrôleur #110 ci-dessous comprend une combinaison appropriée de logiciel, micrologiciel et/ou matériel ; Les figures 7A à 7D illustrent la sélection d'une cible de navigation et la navigation vers la cible de navigation conformément à un geste physique de la main.

Les figures 7E/F/H/I du brevet d'Apple ci-dessous illustrent le déplacement sélectif d'un objet virtuel par rapport à l'environnement tridimensionnel (et le point de vue) ou le déplacement du point de vue par rapport à l'environnement tridimensionnel (et tous les objets virtuels à l'intérieur de l'environnement tridimensionnel). environnement dimensionnel) sur la base de la prise manuelle d'un utilisateur qui est maintenue pendant une séquence d'entrées de l'utilisateur.

L'invention d'Apple est détaillée de manière exhaustive dans son brevet de 163 pages qui a été déposé en Europe le 24 mai 2023. Pour les développeurs et les geeks qui souhaitent approfondir les détails riches fournis, consultez le numéro de brevet européen EP4182799.

Le brevet est associé à la demande de brevet d'Apple 20210286502 qui a été publiée en octobre 2021 en développant le dépôt européen. Apple cache les brevets jugés critiques aux regards indiscrets comme le nôtre en cachant le brevet sous le nom de leurs ingénieurs, comme dans ce cas avec leur brevet '502. Les inventeurs répertoriés sur le '502 sont clairement des ingénieurs Apple et, en fait, dans le brevet secondaire, Jonathan Ive est répertorié. Pouvez-vous obtenir plus d'Apple que cela?

Publié par Jack Purcher le 03 juin 2023 à 11h25 dans 1A. Demandes de brevets, HMD, Smartglasses +, Gestes en l'air, Gestes, Suivi oculaire | Lien permanent | Commentaires (0)