Платформа искусственного интеллекта NVIDIA улучшает опыт изучения языка жестов ASL

Дариус Баруо

21 фев 2025 15:53

NVIDIA сотрудничает над платформой, Signs, основанной на искусственном интеллекте, чтобы продвигать изучение и развитие американского жестового языка, сокращая коммуникационные разрывы между глухими и слышащими сообществами.

Американский язык жестов (ASL) учащиеся и разработчики приложений на основе ASL готовятся извлечь пользу из новой инициативы, возглавляемой NVIDIA, в сотрудничестве с Американским обществом глухих детей и творческим агентством Hello Monday. Разрабатываемая на платформе искусственного интеллекта Signs нацелена на поддержку обучения ASL и стимулирование развития доступных приложений на основе ИИ, как заявили в NVIDIA.

Построение комплексного набора данных ASL

Signs предлагает проверенную библиотеку знаков языка жестов, позволяя пользователям расширить свой словарный запас с помощью 3D аватара, демонстрирующего знаки. Платформа использует искусственный интеллект для анализа видео с веб-камеры, обеспечивая обратную связь в реальном времени по навыкам жестов. Эта инициатива не только помогает учащимся, но также способствует созданию открытого видео-набора данных для языка жестов, с вкладами от жестов всех уровней навыков.

Набор данных, который NVIDIA планирует расширить до 400 000 видеороликов, охватывающих 1 000 слов на знаковом языке, проходит проверку со стороны свободно владеющих американским жестовым языком пользователей и переводчиков. Это обеспечивает точность и надежность жестов, создавая высококачественный визуальный словарь и учебный инструмент. Шери Даулинг, исполнительный директор Американского общества глухих детей, подчеркнула важность таких инструментов для семей с глухими детьми, отметив, что ранний доступ к американскому жестовому языку может облегчить общение с молодого возраста.

Инновации в изучении языка жестов ASL

Помимо того, что служит платформой для обучения, набор данных Signs готов стать ценным ресурсом для развития приложений искусственного интеллекта, сокращающих коммуникационные барьеры между глухими и слышащими сообществами. Данные будут общедоступны для создания доступных технологий, включая искусственных агентов и видеоконференц-инструменты.

Платформа в настоящее время фокусируется на движениях рук и положении пальцев, но будущие разработки направлены на включение выражений лица и движений головы, которые являются неотъемлемыми частями языка жестов. Кроме того, команда изучает, как региональные вариации и сленговые термины могут быть интегрированы для обогащения базы данных языка жестов.

Совместные усилия для улучшения доступности

Андерс Йессен, учредитель партнер Hello Monday/DEPT, выделил текущие усилия по улучшению доступности американского языка жестов, где знаки служат важным инструментом для преодоления коммуникационных барьеров. Опыт пользователя платформы оценивается и улучшается в сотрудничестве с исследователями Центра доступности и исследований по инклюзивности Рочестерского технологического института.

Ожидается, что набор данных будет опубликован в конце этого года, что обеспечит значительный ресурс для продвижения образования и развития технологий ASL. Посетители предстоящей глобальной конференции по искусственному интеллекту NVIDIA GTC получат возможность вживую познакомиться с платформой Signs.

Источник изображения: Shutterstock