Nvidia відкриває код 120B інтелектуальної моделі Nemotron 3 Super: активуючи лише одну десяту параметрів, пропускна здатність досягає в 5 разів більше за попередню генерацію

За повідомленням CoinWorld, згідно з моніторингом 1M AI News, NVIDIA випустила відкриту модель великого мовлення Nemotron 3 Super, розроблену для застосувань з багатьма агентами. Загальна кількість параметрів моделі становить 120 мільярдів, вона використовує гібридну архітектуру Mamba-Transformer MoE, при обробці кожного токена активується лише 12 мільярдів параметрів. Її основна технологія «Latent MoE» дозволяє зменшити розмір токена до низькорівневого латентного простору перед маршрутизацією до експертних мереж, що дозволяє одночасно активувати 4 експерти з однаковими обчислювальними затратами, а пропускна здатність при обробці в 5 разів перевищує попередню генерацію Nemotron Super. Модель підтримує контекстне вікно до 1 мільйона токенів, що підходить для автономних агентів, які потребують тривалого збереження стану робочого процесу. У базовому тесті PinchBench, що оцінює навантаження агентів, Nemotron 3 Super набрав 85,6%, що є найвищим показником серед відкритих моделей подібного класу. NVIDIA одночасно відкрила набір даних для тренування обсягом понад 10 трильйонів токенів, 15 середовищ для навчання з підкріпленням та оцінювальні схеми, під ліцензією NVIDIA Nemotron Open Model License. Модель вже доступна на платформах Hugging Face, build.nvidia.com, Perplexity, OpenRouter та підтримує розгортання через хмарні сервіси Google Cloud, Oracle, AWS Bedrock, Azure тощо. Вже почали використовувати Perplexity, CodeRabbit, Cadence, Dassault Systèmes, Siemens та інші компанії.