Платформа штучного інтелекту від NVIDIA покращує досвід навчання ASL

Даріус Баруо

21 лютого 2025 року 15:53

NVIDIA співпрацює над платформою на основі штучного інтелекту Signs, щоб сприяти вивченню та розвитку американської мови жестів, подолуючи комунікаційні бар’єри між глухими та чуючими спільнотами.

Американська мова жестів (ASL) навчальники та розробники програм на основі мови жестів мають скористатися новою ініціативою, яку очолює NVIDIA, спільно з Американським товариством глухих дітей та творчою агенцією Hello Monday. Платформа на основі штучного інтелекту Signs спрямована на підтримку навчання мови жестів та сприяння розвитку доступних програм штучного інтелекту відповідно до NVIDIA.

Побудова комплексного набору даних ASL

Signs пропонує перевірену бібліотеку знаків мовою жестів, що дозволяє користувачам розширити свій словниковий запас завдяки тривимірному аватару, який демонструє знаки. Платформа використовує штучний інтелект для аналізу відео з веб-камери, що надає зворотний зв’язок у реальному часі щодо навичок жестів користувачів. Ця ініціатива допомагає не лише навчальникам, а й сприяє створенню відкритого відео-набору даних для мови жестів, з внесками від жестів будь-якого рівня володіння.

Набір даних, який NVIDIA планує розширити до 400 000 відеокліпів, що охоплюють 1 000 знакових слів, перевіряється кваліфікованими користувачами мови жестів та перекладачами. Це забезпечує точність та надійність знаків, створюючи високоякісний візуальний словник та навчальний інструмент. Шері Даулінг, виконавчий директор Американського товариства глухих дітей, підкреслила важливість таких інструментів для сімей з глухими дітьми, зауважуючи, що ранній доступ до мови жестів може полегшити комунікацію з молодшого віку.

Інновації в навчанні мові жестів американської сурдопедії

Крім того, служити як платформа навчання, набір даних Signs має стати цінним ресурсом для розробки застосунків штучного інтелекту, які переодоляють комунікаційні бар’єри між глухими та чуючими спільнотами. Дані будуть загальнодоступні для створення доступних технологій, включаючи штучний інтелект та засоби відеоконференцій.

Платформа наразі акцентує увагу на рухах рук та позиціях пальців, але майбутні розробки спрямовані на включення міміки та рухів голови, які є невід’ємними в ASL. Крім того, команда досліджує можливість інтеграції регіональних варіацій та сленгових термінів для збагачення бази даних ASL.

Спільні зусилля для поліпшення доступності

Андерс Йессен, засновник партнер Hello Monday/DEPT, висвітив невпинні зусилля з покращення доступності мови жестів, знаки які служать ключовим інструментом для подолання комунікаційних бар’єрів. Враження користувача платформи оцінюється та покращується у співпраці з дослідниками Центру доступності та включення досліджень Рочестерського технологічного інституту.

Набір даних планується випустити до кінця цього року, що стане значним ресурсом для розвитку освіти та технологій зі знаковою мовою. Учасники надходящої конференції з штучного інтелекту NVIDIA GTC матимуть можливість працювати з платформою Signs у реальному часі.

Джерело зображення: Shutterstock