По данным американцев, китайские компании организовали масштабные атаки, применяя так называемый метод "дистилляции". Для этого было создано более 24 тысяч мошеннических аккаунтов, с которых было выполнено более 16 млн взаимодействий с Claude.

Дистилляция (в контексте ИИ) - это обучение менее мощной LLM на ответах более мощной. Так поступают, например, создавая упрощенные версии собственной модели. Но, когда речь идет о такого рода использовании чужой модели - это нарушение правил использования, утверждают американцы.

В основном "незаконные" взаимодействия в США связывают с MiniMax (более 13 млн запросов) и с Moonshot AI (3.4 млн), но упоминается и DeepSeek.

Китайцев интересовали, прежде всего, возможности логического рассуждения, задачи с оценкой по заданным критериям, генерация ответов, обходящих цензурные ограничения в политически чувствительных темах, использование инструментов, программирование, компьютерное зрение, агентное программирование и интеграция инструментов.

Утверждается, что использовались фейковые учетки и прокси-серверы, чтобы обойти региональные ограничения и снизить риск обнаружения. Иногда трафик дистилляции смешивали с обычными запросами для маскировки. Anthropic утверждает, что сумела с "высокой степенью уверенностью", выявить атаки, установить их связь с названными компаниями. Неназванные участники рынка, располагающие LLM, также зафиксировали схожие паттерны.

Чем опасно произошедшее по мнению Anthropic?

При дистилляции, сторона, которая это делает, получает модель, не снабженную защитными механизмами. Скажем, если в исходной LLM предусмотрены препятствия, которые призваны затруднять получение информации, например, по созданию биологического оружия или кибератак, других опасных действий, то созданные методом незаконной дистилляции модели, изначально могут не иметь этих ограничений. И тот, кто имеет к ним доступ, может пользоваться ими в различных злонамеренных целях.

Что же, на мой взгляд, обход ограничений на пользование ИИ был неизбежен.

В начале 2025 года с дистилляцией сталкивались и в OpenAI.

В Anthropic говорят об обновлении своих систем безопасности, что должно затруднить дистилляцию. Это обычная борьба меча и щита. В ней, как правило, нет абсолютного победителя, а значит, дистилляция будет работать и в будущем, а не она, так найдутся и какие-нибудь другие методы. В любом случае, шила ИИ в мешке защитных ограничений утаить не получится. И человечеству придется иметь дело с последствиями того, что кто-то будет иметь доступ к ИИ без сдерживающих его механизмов. 

UPD: Мне подсказывают, что модели, обученные на данных, полученных методом дистилляции, как правило показывают более слабые результаты, чем модели, обученные на данных, подготовленных людьми. Так что, возможно, выявленные попытки не дали каких-то значительных выигрышей. 

--

За новостями наземного и спутникового телекома удобно следить в канале Бойко про телеком ВКонтакте.
Новости микроэлектроники можно найти в моем ВК-канале RUSmicro 

теги: искусственный интеллект проблемы геополитика и конфликты дистилляция

--