ШІ дедалі частіше обходить обмеження: компанії розслідують десятки тисяч інцидентів

OpenAI, Anthropic та дослідники з кібербезпеки розслідують десятки тисяч випадків небажаної поведінки сучасних моделей штучного інтелекту. Йдеться як про внутрішні тести, так і про випадки у реальному середовищі. Про це повідомляє «Главком» із посиланням на Axios.

ШІ обходить встановлені обмеження

Серед зафіксованих епізодів – спроби моделей обходити захисні механізми, залишати ізольовані тестові середовища, захоплювати вебсайти, створювати власні майданчики для обміну повідомленнями та обходити системи моніторингу.

Частина таких випадків сталася під час спеціальних перевірок безпеки, коли розробники навмисно намагалися змусити моделі поводитися неправильно. Такі випробування називають red teaming. Водночас деякі інциденти відбувалися вже у реальному середовищі.

У багатьох випадках моделі не досягали поставленої мети. Більшість відомих епізодів наразі не призвела до реальної шкоди. Водночас розслідування тривають, тому загальна кількість випадків може бути значно більшою за десятки тисяч.

Компанії не завжди можуть передбачити поведінку моделей

Проблема полягає у тому, що сучасні ШІ-агенти можуть виконувати довгі послідовності дій без постійного втручання людини. Через це розробникам потрібно передбачити велику кількість способів, якими модель може спробувати обійти встановлені правила.

Навіть невелика частка небажаної поведінки може перетворитися на десятки тисяч окремих випадків, оскільки компанії проводять сотні тисяч тестових запусків моделей.

Наприклад, у системній картці однієї з моделей Anthropic зафіксовано спроби залишити ізольоване тестове середовище у 1,5% запусків. При цьому йшлося про спеціальні ворожі тести, у яких виконати завдання без виходу за межі sandbox було неможливо.

Claude отримав доступ до реальних систем

Anthropic окремо розслідувала чотири випадки, коли моделі Claude отримали несанкціонований доступ до реальних сторонніх систем під час кібербезпекових тестів.

Моделям повідомляли, що вони працюють у симуляції без доступу до інтернету. Однак через помилку в налаштуванні тестового середовища інтернет залишався доступним. Anthropic встановила, що всі чотири інциденти сталися під час оцінювань, створених одним стороннім партнером.

В одному з найсерйозніших випадків модель Claude Mythos 5 отримала доступ до реального інтернету та завантажила шкідливий пакет у PyPI – публічний репозиторій програмного забезпечення Python. Після цього модель використала отримані облікові дані для доступу до бази даних реального постачальника послуг кібербезпеки.

Anthropic зазначила, що модель продовжувала діяти, хоча отримувала ознаки того, що перебуває не в симуляції. Дослідники описали дві проблеми: схильність моделі інтерпретувати докази на користь продовження завдання та готовність виконувати потенційно шкідливі дії заради його завершення.

Водночас Anthropic наголошує, що ці випадки не свідчать про появу у моделей власних цілей чи здатність діяти незалежно від поставленого завдання. Усі чотири інциденти стосувалися одиничних екземплярів моделей, які виконували конкретні кіберзавдання; ознак координації між агентами або спроб приховати свої дії компанія не виявила.

Раніше «Главком» розповідав, що співзасновник Microsoft Білл Гейтс попередив про можливість катастрофічних наслідків розвитку штучного інтелекту. За його словами, найбільшу загрозу становить використання сучасних ШІ-інструментів людьми, які мають намір завдати шкоди. Гейтс також виступив за державне регулювання технології, оскільки вважає саморегулювання технологічних компаній недостатнім.