ПРОРЫВ: Google представила TurboQuant — технику, которая нацелена на сжатие рабочей памяти языковых моделей без потерь.


Если она достигнет стадии производства, как предполагает исследование, это может снизить одну из основных узких мест в современном ИИ: стоимость и дефицит памяти, необходимой для обработки длинных контекстов, агентов и огромных нагрузок на вывод.
TurboQuant стремится уменьшить использование кеша KV до шести раз и ускорить обработку на чипе до восьми раз без потери данных.
Посмотреть Оригинал
post-image
post-image
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить