Apple révolutionne l’intelligence artificielle en améliorant la reconnaissance vocale avec son nouveau projet. En ciblant les accents anglais, la firme de Cupertino vise à créer des expériences utilisateur plus inclusives. Grâce à des avancées en apprentissage automatique, Apple redéfinit la communication entre l’homme et la machine.
Apple cherche à améliorer l’accent anglais des IA
Les utilisateurs non natifs de l’anglais peuvent souvent témoigner que les modèles de langage de grande taille (LLM) fonctionnent bien mieux dans la langue de Shakespeare que dans la leur. Parfois, la différence est subtile, mais d’autres fois, elle est significative, comme le montre une étude de Carnegie Mellon, qui a révélé en 2023 que les entrées non anglaises pouvaient plus facilement contourner les filtres de sécurité.
Un nouveau projet de recherche
Apple a coécrit une étude qui propose une méthode novatrice pour réduire cet écart. Selon les chercheurs d’Apple, les modèles de langage actuels sont principalement conçus avec l’anglais comme langue de base. Même ceux qui se veulent multilingues ont tendance à présenter des biais fortement centrés sur l’anglais. Cela signifie que, même lorsqu’un modèle génère du chinois ou du français, il « pense » encore en anglais. En conséquence, les résultats non anglais suivent toujours des motifs de grammaire et de vocabulaire anglais.
Test de biais des modèles
Pour évaluer ce biais, les chercheurs d’Apple, en collaboration avec Inria Paris, l’École Polytechnique et l’Université Sapienza de Rome, ont introduit deux nouvelles métriques :
- Naturalité lexicale : Le modèle utilise-t-il un vocabulaire similaire à celui d’un locuteur natif ?
- Naturalité syntaxique : Structure-t-il les phrases de manière à correspondre à la grammaire native ?
En comparant les résultats des modèles avec des articles écrits par des natifs sur Wikipedia en chinois, français et anglais, ils ont confirmé le biais. Par exemple, même le modèle Qwen, développé en Chine, n’a pas atteint de bons résultats dans toutes les langues, y compris le chinois. Le modèle Llama 3.1 de Meta a été le plus naturel dans l’ensemble, mais il a tout de même été loin derrière les performances humaines.
La solution proposée par Apple
Pour combler cet écart, Apple a formé un modèle à privilégier des sorties naturelles plutôt que maladroites. Ils ont utilisé une méthode astucieuse : au lieu de rassembler manuellement des exemples d’inhabitude, ils les ont générés automatiquement grâce à une technique de rétro-traduction.
Un exemple de réponse fluide en chinois serait traduit en anglais, puis de nouveau en chinois, introduisant ainsi des motifs subtils d’inhabitude appelés « translationese ». Ces sorties manipulées ont servi d’exemples négatifs, tandis que les originaux ont été utilisés comme réponses préférées.
Amélioration des performances
En formant le modèle à privilégier la version plus naturelle, Apple a réussi à améliorer de manière significative le choix de vocabulaire et la grammaire, sans dégrader les performances générales dans les benchmarks standards. Cette approche a le potentiel de transformer la façon dont les modèles de langage traitent les langues autres que l’anglais, rendant ainsi l’intelligence artificielle plus accessible et fiable pour les utilisateurs du monde entier.
Pour en apprendre davantage sur ce sujet, consultez l’article de Carnegie Mellon.
Qu’est-ce qu’un modèle de langage de grande taille (LLM) ?
Un modèle de langage de grande taille (LLM) est un programme d’intelligence artificielle conçu pour comprendre et générer du texte, en s’appuyant sur d’énormes quantités de données textuelles. Ces modèles sont souvent biaisés vers l’anglais, ce qui peut affecter leur performance dans d’autres langues.
Comment les LLMs sont-ils biaisés vers l’anglais ?
Les LLMs sont principalement conçus avec l’anglais comme langue principale, ce qui entraîne des biais importants. Même les modèles multilingues montrent souvent des schémas vocabulaire et grammaticaux centrés sur l’anglais, ce qui rend leurs réponses non naturelles dans d’autres langues.
Quelles sont les nouvelles métriques introduites par Apple ?
Apple a introduit deux nouvelles métriques pour évaluer la performance des LLMs dans d’autres langues : la « naturalité lexicale » et la « naturalité syntaxique ». Ces métriques mesurent si le modèle utilise un vocabulaire et une structure de phrase qui ressemblent à ceux des locuteurs natifs.
Comment Apple propose-t-il de corriger ces biais ?
Apple a proposé une méthode pour améliorer la sortie des LLMs en favorisant des réponses plus naturelles. Cela implique la génération automatique d’exemples non naturels à l’aide de la rétro-traduction, afin d’entraîner le modèle à préférer des formulations plus naturelles.
