Tether запускає BitNet LoRA Framework на всіх платформах

• Технологія BitNet LoRA від Tether дозволяє тренувати моделі штучного інтелекту на смартфонах, GPU та споживчих пристроях.

• Система зменшує використання пам’яті та підвищує продуктивність, знижуючи вимоги до VRAM до 77,8%.

• Користувачі можуть тонко налаштовувати моделі до 13 мільярдів параметрів на мобільних пристроях, розширюючи можливості edge AI.

Tether оголосила про нову платформу AI через свою платформу QVAC Fabric, яка дозволяє кросплатформенне тренування BitNet LoRA на споживчих пристроях. Оновлення дозволяє запускати моделі з мільярдами параметрів на смартфонах і GPU. Генеральний директор Паоло Ардойно поділився розвитком, підкреслюючи зниження витрат і ширший доступ до інструментів AI.

Кросплатформенне тренування AI розширює доступ

Оновлення QVAC Fabric вводить підтримку кросплатформеного тонкого налаштування BitNet LoRA. Це дозволяє запускати моделі AI на різних апаратних засобах і операційних системах.

Зокрема, платформа підтримує GPU від AMD, Intel та Apple, включаючи мобільні чипсети. Також використовуються бекенди Vulkan і Metal для сумісності.

За словами Tether, це перший випадок, коли BitNet LoRA працює на такій широкій кількості пристроїв. В результаті користувачі можуть тренувати моделі на звичайному обладнанні.

Покращення продуктивності на споживчому обладнанні

Система зменшує потребу у пам’яті та обчислювальних ресурсах, поєднуючи техніки BitNet і LoRA. BitNet стискає ваги моделі у спрощені значення, а LoRA обмежує кількість тренованих параметрів.

Разом ці методи значно знижують вимоги до апаратного забезпечення. Наприклад, інференс на GPU працює вдвічі або вдесятеро швидше, ніж на CPU на мобільних пристроях.

Крім того, використання пам’яті зменшується різко у порівнянні з моделями з повною точністю. Бенчмарки показують зменшення VRAM до 77,8% у порівнянні з аналогічними системами.

Tether також продемонструвала тонке налаштування на смартфонах. Тести показали, що моделі з 125 мільйонами параметрів можна навчати за кілька хвилин на таких пристроях, як Samsung S25.

Мобільні та edge-пристрої обробляють більші моделі

Платформа дозволяє запускати більші моделі на edge-пристроях. Tether повідомила про успішне тонке налаштування моделей до 13 мільярдів параметрів на iPhone 16.

Крім того, система підтримує мобільні GPU, такі як Adreno, Mali та Apple Bionic. Це розширює можливості AI за межі спеціалізованого обладнання.

За словами Паоло Ардойно, розробка AI часто залежить від дорогих інфраструктур. Він зазначив, що ця платформа переносить можливості до локальних пристроїв.

Tether додала, що система зменшує залежність від централізованих платформ і дозволяє користувачам тренувати та обробляти дані безпосередньо на своїх пристроях.