Yadro объявила об успешной валидации работы on-prem версии нейросетевой модели GigaChat от Сбера на платформе своего нового ИИ-сервера Yadro G4208P G3. Тестирование подтвердило готовность новых серверов к эксплуатации в корпоративных инфраструктурах с повышенными требованиями к производительности при работе с передовыми моделями искусственного интеллекта. 

Тесты проводились группой компаний ЦРТ на базе операционных систем Astra Linux и Platform V SberLinux. В составе тестовой конфигурации использовались четыре графические карты, обеспечивавшие необходимый уровень производительности при работе с моделью. Пилотный проект подтвердил готовность серверов к работе с современными ИИ-нагрузками — от анализа больших данных до прикладного использования ML-решений.

В ходе нагрузочных испытаний сервис GigaChat на сервере Yadro G4208P G3 показал устойчивую работу под реальной нагрузкой. Во всех тестовых сценариях не зафиксировано ни одного сбоя или отфильтрованного запроса: суммарно успешно обработано более 7 тысяч запросов для разных конфигураций моделей.

Наиболее сбалансированные результаты показала модель GigaChat Max2 в конфигурации FP16. При увеличении числа параллельных запросов до 25 потоков система продолжает наращивать пропускную способность, достигая до 48,5 запросов в минуту, при этом задержки растут контролируемо и остаются ниже, чем у других протестированных конфигураций.

Важно учитывать характер нагрузки: медианная длина ответа составляет 550–650 токенов, то есть это развернутые тексты, а не короткие реплики. Скорость генерации находится на уровне 19–30 мс на токен, что соответствует 33–50 токенам в секунду на поток. Поэтому суммарная задержка в десятки секунд обусловлена в первую очередь объемом генерируемого текста и очередью при высокой параллельности, а не низкой производительностью оборудования.

Полученные результаты имеют особое значение для корпоративных заказчиков, заинтересованных в развертывании GigaChat в собственных ЦОД. Для них дополнительным преимуществом является то, что серверы Yadro G4208P G3 включены в Единый реестр российской радиоэлектронной продукции Минпромторга. Это подтверждает их соответствие критериям импортозамещения и позволяет использовать оборудование в проектах с особыми требованиями к локализации. Таким образом, приобретение on-prem модели GigaChat органично сочетается с выбором ИИ-сервера Yadro, формируя комплексное отечественное решение для внедрения искусственного интеллекта в корпоративных и государственных инфраструктурах.

Дмитрий Дырмовский, генеральный директор группы компаний ЦРТ: «Ключевой запрос крупного бизнеса и госсектора — внедрение прогрессивных отечественных решений на основе генеративного искусственного интеллекта. Актуальный тренд — внедрение облачных решений, но при повышенных требованиях к безопасности формируется спрос на on-prem-внедрения — установку в закрытый контур организаций. Появление полноценной российской GPU-платформы помогает удовлетворить такой спрос. Результаты тестирования on-prem модели GigaChat c cерверами Yadro позволили нам убедиться в их совместимости и высокой эффективности, а главное — открыть для всех наших клиентов комплексное решение, включающее нейросетевую модель Сбера GigaChat и инфраструктуру YADRO для безопасного внедрения новейших GenAI-решений».

Павел Егоров, директор по продуктам компании Yadro: «Растущий интерес бизнеса к внедрению искусственного интеллекта в ключевые процессы всё чаще приводит участников ИТ-рынка к осознанию необходимости развёртывания генеративных и корпоративных моделей в собственных инфраструктурах. Для этого требуются производительные и надёжные решения, адаптированные для быстрого и безопасного внедрения в существующую ИТ-среду. Успешная интеграция GigaChat с нашими серверами показала, что такие задачи уже могут эффективно решаться на базе отечественного оборудования: архитектура нового ИИ-сервера Yadro обеспечивает высокую производительность и стабильность при длительных нагрузках, а гибкая конфигурация позволяет адаптировать систему под конкретные требования. Развивая такие проекты, в партнёрстве с ведущими игроками рынка мы формируем устойчивую технологическую базу, которая позволяет отечественным решениям уверенно конкурировать и развиваться на уровне мировых стандартов».

Поддержка до 8 GPU, высокоскоростные соединения NVLink Bridge, современные процессоры (CPU) и память DDR5 соответствуют архитектуре ведущих зарубежных ИИ-серверов (например, Dell PowerEdge XE9680). При этом российский сервер - реестровый и готов к работе с разным ПО, включая российские ОС и платформы. В полной конфигурации - это флагманское и дорогое решение для сложных задач.

Если придираться, то стоит отметить, что высокая производительность определяется доступностью импортных GPU. Но... альтернатив импорту в этом плане пока что нет. 

--

За новостями наземного и спутникового телекома удобно следить в телеграм-канале abloud62. Региональные новости телекома, новости искусственного интеллекта и ЦОД вы найдете в канале abloudRealTime, новости микроэлектроники можно найти в моем канале RUSmicro, также подключайтесь к каналу Бойко про телеком ВКонтакте

теги искусственный интеллект вычислительная техника сервера Yadro GigaChat

--