O que aconteceu

A Tether Data apresentou o QVAC Fabric LLM, um modelo de linguagem grande primeiro na borda (LLM) combinado com uma estrutura de adaptação de classificação baixa LLM generalizada (LoRA) para ajuste fino. Esta tecnologia suporta modelos de IA modernos operando de forma eficiente em plataformas heterogêneas, incluindo GPUs, smartphones, laptops e servidores. A estrutura permite o processamento de IA no dispositivo, projetada para otimizar o uso de recursos e melhorar a velocidade de inferência para aplicações que requerem capacidades LLM.

Contexto
O lançamento do QVAC Fabric LLM alinha-se com uma tendência mais ampla na indústria que enfatiza a computação de IA na borda—onde os dados são processados localmente nos dispositivos dos usuários em vez de servidores de nuvem centralizados—para melhorar a privacidade, reduzir a latência e economizar largura de banda. O ajuste fino LoRA é uma técnica que permite que os modelos se adaptem a novas tarefas com menos recursos computacionais, atualizando um subconjunto menor de parâmetros, tornando-o prático para uma ampla gama de dispositivos. Tether Data, uma empresa