Алгоритм Google TurboQuant сократил потребление памяти языковыми моделями в шесть раз.
Компания Google представила новый алгоритм под названием TurboQuant. Об этом сообщил Zamin.uz.
Этот алгоритм способен уменьшить потребление памяти крупными языковыми моделями до шести раз. По данным компании, этот метод сохраняет точность и не наносит значительного ущерба производительности системы.
В результате можно сделать системы искусственного интеллекта более доступными и упростить их запуск. Об этом сообщил сайт Tech.onliner.by.
Основная цель алгоритма TurboQuant — эффективное управление кэш-памятью, используемой языковыми моделями во время диалога. Кэш хранит необходимые данные, чтобы избежать повторения одних и тех же вычислений в системе.
Однако по мере увеличения продолжительности общения с пользователем размер кэша также растет. Это может замедлить скорость ответа и увеличить требования к аппаратным ресурсам.
По данным Google, TurboQuant работает в несколько этапов, сжимая сохранённые данные и исправляя возникающие при этом ошибки. Этот алгоритм снижает нагрузку на память и одновременно уменьшает вычислительные затраты.
Важно, что TurboQuant можно применять к существующим моделям без дополнительной подготовки. Эта новинка особенно полезна для инструментов искусственного интеллекта, работающих на смартфонах и других устройствах с ограниченными ресурсами.
Если TurboQuant будет широко внедрён, это поможет снизить эксплуатационные расходы AI-сервисов. Также появится возможность эффективно использовать продвинутые модели на небольших и менее мощных устройствах.
Это создаст основу для более широкого применения технологий искусственного интеллекта.
