VKAE tizimi GPU samaradorligini 23 baravarga oshiradi — Ixbt.com
Искусственный интеллект (AI) в отрасли продолжает расти спрос на вычислительные ресурсы, основное внимание смещается с создания новых моделей на повышение эффективности существующей инфраструктуры. Об этом сообщил Zamin.uz.
Система ускорения вывода VKAE, представленная компанией Vidraft, достигла значительного сокращения в этом направлении. По утверждению разработчиков, новая технология повышает эффективность существующих GPU (графических процессоров) без изменения аппаратной части в некоторых сценариях до 23 раз.
Об этом сообщает Ixbt.com. Интерес к этой технологии связан с экономической эффективностью современных AI-сервисов.
Хотя обучение большой языковой модели выполняется один раз, процесс вывода — генерация ответов на запросы пользователей — продолжается постоянно. Именно затраты на вывод определяют основные эксплуатационные расходы облачных сервисов и корпоративных платформ искусственного интеллекта.
Система VKAE представлена как «программное расширение» существующих ускорителей. Новое поколение оптимизации производителями микросхем при разработке новых GPU-устройств, системы вроде VKAE стремятся максимально использовать доступные возможности за счет оптимизации низкоуровневого программного обеспечения.
Этот процесс включает пересмотр архитектуры вычислительных ядер и механизмов планирования задач. Согласно данным Ixbt.com, тесты проводились на графическом ускорителе NVIDIA B200, и результаты оказались выше ожидаемых.
Во время тестов по нескольким моделям наблюдалось несколькократное увеличение скорости по сравнению с базовыми системами. Главное, разработчики подчеркивают, что в ходе измерений не наблюдалось ухудшения качества ответов или снижения точности моделей.
Это позволяет значительно сократить расходы при сохранении надежности этих AI-систем. Одним из самых впечатляющих результатов стало достижение с моделью Qwen3.5-35B-A3B.
При высокой параллельной нагрузке система продемонстрировала способность генерировать более 10 000 токенов (единиц текста) в секунду. Однако для реальных условий с различными запросами этот показатель составляет примерно 455 токенов в секунду.
Это показывает, что коэффициент эффективности напрямую зависит от характера нагрузки. Интеграция и открытость системы VKAE включают следующее: высокая пропускная способность на современных ускорителях вроде NVIDIA B200; полная совместимость с интерфейсами API OpenAI; возможность почти бесшовной интеграции с существующей инфраструктурой; воспроизводимость и прозрачность результатов.
По мнению авторов проекта, возможность независимой проверки результатов должна быть основой доверия к таким технологиям. Поэтому разработчики рассматривают систему VKAE как вспомогательный инструмент при проверке весов моделей и процессов оптимизации.
Эта технология
