Компания Bosgame запустила искусственный интеллект на семи мини-компьютерах.
Технологии искусственного интеллекта стремительно развиваются, и сегодня одной из самых насущных проблем является запуск крупных языковых моделей на персональных и локальных устройствах. Об этом сообщил Zamin.uz.Компания Bosgame предложила неожиданное и чрезвычайно эффективное решение этой сложной задачи с помощью своего нового поколения мини-компьютеров серии M5 AI. Инженеры компании объединили семь компактных компьютеров в единую систему, успешно запустив модель DeepSeek-V3.1 с 671 миллиардом параметров.
В качестве основы для этого опыта была взята модель M5 AI, представленная в прошлом году. Это устройство оснащено центральным процессором Ryzen AI Max+ 395 и имеет最高уровень оперативной памяти — 128 ГБ быстрой ОЗУ.
Хотя мощности одного устройства недостаточно для обработки моделей такого огромного размера, функция масштабируемости системы позволяет превратить её в мощный вычислительный центр. Расширение системы осуществляется непосредственно через технологию прямого подключения.
Это решение позволяет соединить несколько мини-компьютеров без необходимости использования традиционной централизованной серверной архитектуры, обеспечивая прямое взаимодействие между ними. В результате семь устройств объединяются, образуя общий объём быстрой памяти в 896 ГБ.
Из них 672 ГБ выделяются непосредственно для нужд графического процессора. Это достаточно для локального запуска тяжёлых моделей, таких как DeepSeek, без использования внешних серверов.
Основное преимущество предлагаемого Bosgame решения — его экономическая эффективность. Профессиональные серверные системы с аналогичной мощностью могут стоить десятки тысяч долларов, тогда как кластер из мини-компьютеров обходится значительно дешевле — в несколько раз.
Кроме того, такая система потребляет значительно меньше электроэнергии по сравнению с традиционными крупными серверами. Представители компании особо подчеркивают удобство этого подхода для конечных пользователей.
Покупатели могут начать с приобретения одного устройства и постепенно добавлять новые блоки по мере роста потребностей и возможностей. Это существенно упрощает планирование бюджета для новых исследователей в области ИИ и небольших команд.
Что касается цен, то на сегодняшний день производитель устанавливает стоимость одного устройства в размере 2800 долларов. Несмотря на небольшое увеличение цены, система из семи устройств по-прежнему значительно дешевле серверов на базе профессиональных графических ускорителей NVIDIA.
Подводя итог, опыт Bosgame доказывает, что мини-компьютеры способны не только выполнять обычные офисные задачи, но и справляться с самыми сложными задачами искусственного интеллекта.
