Искусственный интеллект ради экономии: чем рискуют компании

Генеративный искусственный интеллект всё чаще используют для ускорения разработки и снижения затрат. Но новое исследование профессора Майкла Лоунса из Университета Хериот-Ватт предупреждает: такая экономия может обернуться серьёзными проблемами. Среди них — кибератаки, утечки данных и несправедливые решения, которые заденут обычных людей. Учёный опубликовал свои выводы в журнале Patterns и призвал разработчиков не спешить с внедрением генеративных моделей туда, где от их работы зависят жизни и кошельки.

 

Что говорится в исследовании

Профессор Лоунс проанализировал, как генеративный ИИ (в основном большие языковые модели) встраивается в системы машинного обучения. Он выделил четыре ключевых сценария: модель используют как часть конвейера, с её помощью пишут код, генерируют обучающие данные или анализируют результаты. Каждый из этих вариантов несёт риски, а если совмещать несколько — опасность растёт в разы. Учёный подчёркивает: «Если вы используете генеративный ИИ сразу в нескольких местах, эти части начинают взаимодействовать непредсказуемым образом». По его мнению, сейчас сложность таких систем часто превышает разумные пределы.

 

Четыре способа применения и их тёмная сторона

Разработчики всё чаще доверяют нейросетям не только финальные решения, но и подготовку. Вот основные области, где генеративный ИИ уже работает:

• как компонент внутри готового пайплайна — модель принимает решения на промежуточных этапах;
• для проектирования и написания кода самого пайплайна — нейросеть создаёт алгоритмы обучения;
• для синтеза обучающих данных — когда реальных примеров не хватает, их «дорисовывает» ИИ;
• для анализа выходных данных — чтобы объяснить, почему модель выдала тот или иной результат.

Каждый из этих пунктов сам по себе может стать источником сбоев. Но когда одна и та же модель выполняет несколько задач, ошибки накладываются друг на друга, и предсказать их становится почти невозможно.

 

Ошибки, галлюцинации и невидимые угрозы

Одна из главных проблем — склонность языковых моделей выдумывать факты. Это называют «галлюцинациями». В отличие от человека, нейросеть не осознаёт, что ошиблась, и выдаёт ложь с той же уверенностью, что и правду. При этом такие сбои трудно заметить: модель работает как чёрный ящик, её внутренние процессы остаются скрытыми. Профессор Лоунс отмечает: в медицине, финансах и страховании по закону нужно не просто получить результат, но и объяснить, как система к нему пришла. С генеративным ИИ это становится практически невыполнимой задачей. А значит, компании рискуют нарушить законодательство.

 

Кому и чем это грозит

Кибератаки — не единственная опасность. Исследование указывает на риск дискриминации: если модель обучалась на перекошенных данных, она будет воспроизводить предвзятость. Например, отказывать в кредите людям из определённых районов или назначать менее эффективное лечение пациентам. Причём компания, которая внедрила такую систему ради экономии, может даже не знать о её «слепых зонах» — пока не случится скандал. Профессор предупреждает: «Организации будут разворачивать эти системы, чтобы урезать расходы. Иногда это улучшит сервис, но нередко обернётся несправедливостью и ущербом для пользователей».

 

Что делать разработчикам и обычным людям

Профессор Лоунс советует не усложнять системы без крайней необходимости. Особенно в тех сферах, где от решений зависят человеческие судьбы. Пока генеративный ИИ остаётся непрозрачным и склонным к ошибкам, его лучше использовать точечно, а не заменять им весь конвейер. Разработчикам стоит тщательно тестировать каждую модель на непредвиденное поведение и закладывать механизмы контроля. А пользователям — помнить: за красивой упаковкой «умного» сервиса может скрываться система, которая не всегда понимает, что делает.

Исследование опубликовано в журнале Patterns и показывает: спешка с внедрением генеративного ИИ без должной оценки рисков способна привести к последствиям, которые перечеркнут любую экономию. Пока технология не станет прозрачнее и надёжнее, баланс между выгодой и безопасностью остаётся главным вызовом для разработчиков и регуляторов.