Apple s’apprête à révolutionner le monde des technologies portables avec ses nouvelles lunettes intelligentes. Propulsées par un modèle d’IA avancé, ces lunettes promettent une expérience immersive, intégrant des fonctionnalités innovantes et une interface utilisateur optimisée, tout en renforçant l’écosystème Apple et ses services numériques.

Les lunettes intelligentes d’Apple et leur modèle d’IA

Depuis plusieurs mois, des rumeurs circulent concernant les projets d’Apple de lancer des dispositifs portables dotés d’une technologie d’intelligence artificielle. Les nouvelles tendances indiquent que les lunettes d’Apple, qui rivaliseront directement avec les Meta Ray-Bans, devraient être lancées vers 2027, accompagnées d’AirPods équipés de caméras, offrant ainsi une panoplie de fonctionnalités basées sur l’IA.

La technologie MLX d’Apple

En 2023, l’équipe de recherche en apprentissage automatique d’Apple a dévoilé MLX, un cadre d’apprentissage automatique ouvert spécifiquement conçu pour le silicium d’Apple. Ce cadre permet une formation et une exécution légères des modèles localement sur les appareils Apple, tout en restant accessible aux développeurs familiers avec les frameworks et langages traditionnellement utilisés dans le développement de l’IA.

Le modèle visuel d’Apple : FastVLM

Récemment, Apple a présenté FastVLM : un modèle de langage visuel (VLM) qui exploite MLX pour offrir un traitement d’image haute résolution presque instantané, tout en nécessitant significativement moins de ressources informatiques par rapport à des modèles similaires. Selon Apple :

"À partir d’une analyse complète de l’efficacité de l’interaction entre la résolution d’image, la latence de vision, le nombre de tokens et la taille du modèle LLM, nous introduisons FastVLM—un modèle qui atteint un compromis optimisé entre latence, taille du modèle et précision."

L’encodeur FastViTHD

Au cœur de FastVLM se trouve un encodeur appelé FastViTHD. Cet encodeur a été "spécifiquement conçu pour des performances VLM efficaces sur des images haute résolution". Il est jusqu’à 3,2 fois plus rapide et 3,6 fois plus petit que des modèles similaires, ce qui est crucial pour traiter des informations localement, sans dépendre du cloud pour générer une réponse à une question de l’utilisateur.

Performance et efficacité

De plus, FastVLM a été élaboré pour produire moins de tokens, ce qui est essentiel lors de l’inférence, l’étape où le modèle interprète les données et génère une réponse. Selon Apple, son modèle présente un temps jusqu’à 85 fois plus rapide pour obtenir le premier token par rapport à des modèles similaires. Un nombre réduit de tokens sur un modèle plus rapide et plus léger signifie un traitement plus rapide.

Disponibilité et référence technique

FastVLM est disponible sur GitHub, tandis que le rapport technique peut être consulté sur arXiv. Bien que cela puisse être une lecture complexe, il vaut vraiment la peine d’être examiné pour ceux qui s’intéressent aux aspects techniques des projets d’IA d’Apple.

Les avancées d’Apple dans le domaine de l’intelligence artificielle, en particulier avec des dispositifs portables comme les lunettes intelligentes, pourraient transformer l’interaction utilisateur et la façon dont nous percevons la technologie au quotidien.