Intelligence artificielle: ChatGPT aide un joueur d'esport aveugle à se déplacer seul

Masahiro Fujimoto, un joueur japonais d'esports, est aveugle et a souvent besoin d'un proche pour se déplacer dans Tokyo. Mais il espère que l'intelligence artificielle (IA), considérée comme un outil prometteur pour les personnes handicapées, pourra l'aider à se déplacer seul.

Ce pratiquant du jeu de combat "Street Fighter" a testé la dernière version de l'agent conversationnel ChatGPT en se rendant au stade lors d'une récente rencontre de Para eSports.

"Je ne peux pas participer à un événement comme celui-ci sans avoir quelqu'un sur qui compter", explique à l'AFP l'homme de 26 ans. "Si je peux utiliser une technologie comme ChatGPT pour concevoir ma propre assistance, ce serait formidable".

"Un potentiel énorme"

Cette année, la société américaine OpenAI a lancé GPT-4o, qui dispose de commandes vocales, textuelles et visuelles dans plusieurs langues. Cet outil génératif, comme d'autres tels que Gemini de Google, fait partie d'un domaine en plein essor qui, selon les experts, pourrait rendre l'éducation, l'emploi et les services quotidiens plus accessibles.

Suivant le pavage tactile des trottoirs japonais, "Mashiro", son pseudonyme en ligne, utilise sa canne décorée d'un petit singe pour trouver son chemin depuis la gare. Tout en marchant, il parle à GPT-4o comme à un ami, recevant des réponses via une oreillette, laissant son autre oreille libre pour écouter les bruits environnants. Après avoir demandé des directions simples, il ajoute: "En fait, je suis aveugle. Pourriez-vous me donner des détails supplémentaires pour les aveugles ?"Bien sûr", répond l'IA. "Vous remarquerez peut-être une augmentation du bruit de la foule et des activités à mesure que vous vous rapprocherez".

Le trajet, d'une durée de 20 minutes pour les voyants, dure quatre fois plus longtemps pour Mashiro, qui a dû faire demi-tour plusieurs fois. Pris dans une averse soudaine, il demande l'aide de l'ami qui l'accompagne pour terminer le trajet. "Arrivé !", s'exclame enfin Mashiro, aveugle depuis sa naissance et qui n'utilise que le son pour combattre ses adversaires dans "Street Fighter 6".

Selon Youngjun Cho, professeur agrégé d'informatique à l'University College de Londres (UCL), l'IA peut mieux répondre à des besoins spécifiques que les produits et technologies d'assistance standard. "Son potentiel est énorme", dit M. Cho, qui travaille également au Global Disability Innovation Hub de l'UCL. "Je pense que cela peut permettre à de nombreuses personnes de gagner en autonomie et encourager l'indépendance".

Tenter d'égaler l'oeil humain

Les personnes malentendantes peuvent, par exemple, utiliser la transcription de la parole en texte par l'IA, tandis que les chatbots peuvent aider à mettre en forme un CV pour une personne ayant des difficultés d'apprentissage.

Certains outils destinés aux malvoyants, tels que Seeing AI, Envision AI et TapTapSee, décrivent des images prises par l'appareil photo d'un téléphone. Et l'application danoise Be My Eyes collabore avec OpenAI pour mettre au point un "assistant visuel numérique".

Masahide Ishiki, expert japonais en matière de handicap et d'accessibilité numérique, prévient toutefois qu'il peut être "délicat" de déceler les erreurs de ChatGPT, qui "répond de manière tellement naturelle".

"Le prochain objectif (de l'IA générative, ndlr) est d'améliorer la précision de la reconnaissance visuelle en temps réel, afin d'atteindre des capacités proches de celles de l'oeil humain", estime M. Ishiki, lui-même aveugle.

Marc Goblot, du groupe Tech for Disability, a également mis en garde contre le fait que l'IA est entraînée sur des "ensembles de données très grand public" qui ne sont "pas représentatives de tout le spectre des perceptions des gens et en particulier à la marge".

Mashiro estime que la reconnaissance limitée des mots et des lieux japonais par ChatGPT a rendu son trajet assisté par l'IA plus difficile. Même si l'expérience a été "très amusante", elle aurait été plus aisée si ChatGPT avait été connecté à un outil de cartographie, pense le joueur, qui a voyagé à travers l'Europe l'année dernière en utilisant Google Maps et l'aide de son entourage.