Elogia a Musk: ¡Impresionante! ¿Cuál es la arma secreta del modelo de IA chino Kimi?

El nuevo modelo chino de IA Moonshot AI, llamado Kimi, publicó recientemente un informe técnico en el que presenta una nueva arquitectura llamada “Attention Residuals”, que intenta reescribir el diseño de residuo que ha sido utilizado en los Transformers durante mucho tiempo. Poco después de su publicación, Elon Musk también expresó en las redes sociales que “El trabajo de Kimi es impresionante”, lo que hizo que esta tecnología rápidamente llamara la atención.

El modelo chino de IA Kimi extiende la atención entre los modelos

El enfoque principal de Kimi esta vez, en realidad, se centra en un mecanismo muy fundamental en los Transformers, pero que rara vez se vuelve a cuestionar: la Conexión Residual. Desde ResNet, la mayoría de los modelos simplemente suman directamente la salida de cada capa, y todos los pesos son iguales. Esto es simple y estable, pero cuando el modelo se vuelve muy profundo, comienzan a surgir problemas: la información acumulada en las capas anteriores aumenta cada vez más, y las nuevas señales tienen dificultades para ejercer su efecto, incluso pueden ser ahogadas, lo que hace que el entrenamiento del modelo sea más difícil.

La estrategia de Kimi consiste en extender el mecanismo de atención desde su uso original entre “tokens” hacia “entre capas del modelo”. En Attention Residuals, cada capa ya no recibe de manera uniforme toda la información de las capas anteriores, sino que utiliza atención para “elegir” qué capas son más importantes. Es decir, el modelo ya no solo acumula de manera continua, sino que, en función de la entrada actual, selecciona activamente la información útil para usar.

Kimi logra aumentar la eficiencia en un 1.25 veces sin incrementar la latencia de inferencia

Pero si cada capa revisa todas las capas anteriores, el costo sería demasiado alto. Por eso, Kimi propone una solución intermedia llamada Block Attention Residuals: primero divide el modelo en varios bloques, dentro de los cuales mantiene la suma original, pero entre bloques se usa atención para hacer la selección. De esta forma, se puede mantener la capacidad de “elegir información” y, al mismo tiempo, reducir significativamente la memoria y la carga computacional, permitiendo que se aplique directamente en modelos existentes.

Según los resultados, Kimi en un modelo grande casi no aumenta la latencia de inferencia (menos del 2%), pero logra una mejora de aproximadamente 1.25 veces en eficiencia, además de avanzar en múltiples métricas de prueba. Esto demuestra que esta modificación no solo es teóricamente elegante, sino que también tiene un valor práctico real. Hasta ahora, la atención se ha utilizado principalmente para resolver las relaciones entre palabras, pero Kimi lleva esto un paso más allá, haciendo que el modelo comience a pensar en qué información usar entre diferentes capas.

En pocas palabras, el modelo no solo lee datos, sino que también aprende a retroceder y buscar en su propio historial de cálculos anteriores.

Este artículo, que fue elogiado por Musk como “impresionante”, revela: ¿Cuál es la arma secreta del modelo chino de IA Kimi? La noticia original apareció en Chain News ABMedia.