Мірело залучило 59,1 мільярда інвестицій… Використовуючи ШІ, додає звуки барабанів до відео з вимкненим звуком

Джерело: TokenPost Оригінальна назва: 미렐로, 591억 투자 유치…AI로 음소거 영상에 드럼 소리 입힌다 Оригінальне посилання: Грунтуючись у Німеччині, стартап з генерації аудіо AI 미렐로(Mirelo) нещодавно залучив 41 мільйон доларів(близько 591 мільярда вон) у раунді посівного фінансування, привертаючи увагу. Спільними лідерами виступили Index Ventures та Andreessen Horowitz, а також підтримку надали Atlantic Ventures і Triple Point Capital.

미렐로 зосереджена на функції створення аудіо відповідно до відео, і її основна модель ‘SFX 1.5’ успішно вміє розпізнавати сцени з ударною установкою у мовчазному відео та точно генерувати звуковий супровід, схожий на реальні ударні. За оцінками незалежних зовнішніх суддів, ця модель демонструє значно кращу продуктивність порівняно з існуючими комерційними моделями генерації аудіо. Особливо вона відрізняється здатністю зменшувати небажаний шум і точно синхронізувати звук із швидко рухомими відео.

Ця модель доступна через API і через застосунок ‘미렐로 스튜디오’, який може використовувати звичайний користувач. Користувачі можуть створювати різні версії аудіо за допомогою текстових підказок і вибирати найкращий результат для подальшого редагування. Платформа спроектована так, щоб навіть недосвідчені у технологіях могли легко займатися створенням AI-аудіо.

На основі цієї інвестиції 미렐로 розпочала розробку наступної генерації моделей, що перевищують SFX 1.5. Новий алгоритм, за очікуваннями, ще більше підсилить послідовність і природність зв’язків між аудіо, а також має намір розширитись у виробництво високоякісного контенту, такого як фільми та відеоігри.

Компанія також використовує високопродуктивний кластер на базі GPU NVIDIA H100 та H200 для тренування моделей, цей кластер працює через розподілену систему обробки Slurm(. AI-фреймворк базується на PyTorch)PyTorch( від Meta і активно використовує функцію FSDP)Fully Sharded Data Parallel(, що оптимізована для розподіленого навчання великих моделей.

Зараз 미렐로 наймає дослідників у галузі AI з експертизою у дифузійних)diffusion( та автогресивних)autoregressive( архітектурах. Особливо автогресивна, що включає трансформерну архітектуру, є ключовою технологією не лише для мовних моделей, але й для генерації музики та інших аудіо AI.

미렐로 планує посилити дослідницький персонал, розширити асортимент продуктів і прискорити вихід на глобальний ринок, щоб закріпити своє лідерство на ринку генерації звуку AI.