La plateforme IA de NVIDIA améliore l'expérience d'apprentissage de la LSA

Darius Baruo

21 février 2025 15:53

NVIDIA collabore à une plateforme pilotée par l’IA, Signs, pour faire progresser l’apprentissage et le développement de la langue des signes américaine, comblant les écarts de communication entre les communautés sourdes et entendantes.

Les apprenants et les développeurs en langue des signes américaine (ASL) et les développeurs d’applications d’IA basées sur l’ASL sont sur le point de bénéficier d’une nouvelle initiative menée par NVIDIA, en collaboration avec la Société américaine pour les enfants sourds et l’agence de création Hello Monday. La plateforme alimentée par l’IA, Signs, vise à soutenir l’éducation en ASL et à favoriser le développement d’applications IA accessibles, selon NVIDIA.

Construction d’un ensemble de données ASL complet

Signes propose une bibliothèque validée de signes en LSF, permettant aux utilisateurs d’élargir leur vocabulaire grâce à un avatar 3D qui démontre les signes. La plateforme utilise l’IA pour analyser les images de la webcam, fournissant des retours en temps réel sur les compétences de signe des utilisateurs. Cette initiative aide non seulement les apprenants mais contribue également à un ensemble de données vidéo open source pour la LSF, avec des contributions de signeurs de tous niveaux de compétence.

Le jeu de données, que NVIDIA vise à étendre à 400 000 clips vidéo couvrant 1 000 mots signés, est validé par des utilisateurs ASL et des interprètes couramment ASL. Cela garantit l’exactitude et la fiabilité des signes, créant un dictionnaire visuel de haute qualité et un outil d’enseignement. Cheri Dowling, directrice exécutive de l’American Society for Deaf Children, a souligné l’importance de tels outils pour les familles avec des enfants sourds, notant que l’accès précoce à l’ASL peut faciliter la communication dès le plus jeune âge.

Innovations in ASL Learning

Au-delà de servir de plateforme d’apprentissage, l’ensemble de données Signs est sur le point de devenir une ressource précieuse pour le développement d’applications d’IA qui comblent les écarts de communication entre les communautés sourdes et entendantes. Les données seront publiquement disponibles pour la création de technologies accessibles, y compris des agents d’IA et des outils de visioconférence.

La plateforme se concentre actuellement sur les mouvements des mains et les positions des doigts, mais les développements futurs visent à intégrer les expressions faciales et les mouvements de tête, qui sont essentiels à la LSF. De plus, l’équipe explore comment les variations régionales et les termes argotiques peuvent être intégrés pour enrichir la base de données de la LSF.

Des efforts collaboratifs pour améliorer l’accessibilité

Anders Jessen, associé fondateur de Hello Monday/DEPT, a mis en lumière les efforts continus visant à améliorer l’accessibilité en ASL, les signes jouant un rôle crucial dans le dépassement des barrières de communication. L’expérience utilisateur de la plateforme est en cours d’évaluation et d’amélioration en collaboration avec des chercheurs du Center for Accessibility and Inclusion Research de l’Institut de technologie de Rochester.

L’ensemble de données devrait être publié plus tard cette année, fournissant une ressource importante pour faire progresser l’enseignement de l’ASL et le développement de la technologie. Les participants à la prochaine NVIDIA GTC, une conférence mondiale sur l’IA, auront l’occasion de s’engager en direct avec la plate-forme Signs.

Source de l’image : Shutterstock