Mirello, inversión de 59.1 mil millones de won… Añade sonidos de batería a videos silenciados con IA

Fuente: TokenPost Título original: 미렐로, 591억 투자 유치…AI로 음소거 영상에 드럼 소리 입힌다 Enlace original: La startup alemana de IA para generación de audio Mirelo(Mirelo) ha captado recientemente 41 millones de dólares(unos 591 millones de won) en una ronda de inversión semilla, atrayendo atención. Index Ventures y Andreessen Horowitz lideraron conjuntamente, y Atlantic Ventures y TriplePoint Capital también apoyaron con fondos.

Mirelo se centra en funciones de generación de audio adaptadas a los vídeos, y su principal modelo ‘SFX 1.5’ ha logrado reconocer escenas de batería en vídeos silenciados y generar sonidos con una precisión similar a la de una batería real. Según evaluaciones de jueces externos independientes, este modelo supera significativamente a los modelos comerciales existentes de generación de audio. En particular, su capacidad para reducir ruidos no deseados y sincronizar con precisión el audio y las escenas en vídeos de movimiento rápido le confiere una ventaja competitiva diferenciada.

Este modelo se ofrece a través de la aplicación ‘Mirelo Studio’, que está disponible tanto mediante API como para usuarios generales. Los usuarios pueden generar varias versiones de audio mediante comandos de texto y seleccionar la mejor para editarla adicionalmente. La plataforma está diseñada para que incluso los no expertos en tecnología puedan acceder fácilmente a la creación de audio con IA.

Basándose en esta inversión, Mirelo ha iniciado el desarrollo de un modelo de próxima generación que supere a SFX 1.5. Se espera que el nuevo algoritmo refuerce aún más la coherencia y la conexión natural entre audios, con miras a expandirse en áreas como la producción de contenidos de alta calidad, incluyendo películas y videojuegos.

La compañía también está utilizando clusters de alto rendimiento basados en GPUs H100 y H200 de NVIDIA para entrenar sus modelos, los cuales operan mediante un sistema de procesamiento distribuido Slurm(Slurm). El marco de IA adopta PyTorch(PyTorch) de Meta, y está aprovechando activamente la función FSDP(Fully Sharded Data Parallel), optimizada para el entrenamiento distribuido de modelos de gran tamaño.

Actualmente, Mirelo está contratando investigadores especializados en IA con experiencia en difusión(diffusion) y estructuras autoregresivas(autoregressive). En particular, la estructura autoregresiva incluye la arquitectura Transformer, que está emergiendo como tecnología clave no solo en modelos de lenguaje sino también en IA de audio como la generación musical.

Con los fondos asegurados, Mirelo planea fortalecer su equipo de investigación, diversificar productos y acelerar su expansión en el mercado global para consolidar su liderazgo en el mercado de IA para generación de sonidos.