Tether lança framework BitNet LoRA multiplataforma, modelo com um bilião de parâmetros pode ser ajustado em dispositivos de consumo

Techub News notícia, Tether anuncia o lançamento do quadro de ajuste fino LoRA de BitNet Cross-Platform no QVAC Fabric, otimizando o treino e a inferência do Microsoft BitNet (LLM de 1-bit). Este quadro reduz significativamente a necessidade de poder computacional e memória, permitindo que modelos de bilhões de parâmetros sejam treinados e ajustados em laptops, GPUs de consumo e smartphones. Pela primeira vez, o modelo BitNet foi ajustado em GPUs móveis (incluindo Adreno, Mali e Apple Bionic). Testes mostram que um modelo de 125 milhões de parâmetros pode ser ajustado em cerca de 10 minutos, enquanto um de 1 bilhão leva aproximadamente uma hora, podendo chegar a 13 bilhões de parâmetros em smartphones. Além disso, o quadro suporta hardware heterogêneo como Intel, AMD e Apple Silicon, e realiza ajuste fino LoRA de LLM de 1-bit em dispositivos não NVIDIA. Em termos de desempenho, o tempo de inferência do modelo BitNet em GPUs móveis é de 2 a 11 vezes mais rápido que em CPU, com redução de até 77,8% no uso de memória de vídeo em relação aos modelos tradicionais de 16 bits. Tether afirma que essa tecnologia pode romper a dependência de infraestrutura de alta performance e nuvem, impulsionando o desenvolvimento de treinamentos de IA descentralizados e locais, além de fornecer uma base para aplicações emergentes como o aprendizado federado.