Компанії різко збільшили попит на фахівців із безпеки ШІ – LinkedIn

Штучний інтелект породжує новий сегмент на ринку праці – компаніям дедалі більше потрібні люди, які перевіряють безпеку моделей, шукають уразливості та оцінюють можливі ризики їхньої роботи. За останній рік кількість вакансій у сфері ШІ безпеки зросла на 91%, свідчать дані LinkedIn. Про це повідомляє «Главком» з посиланням на Business Insider.

Про стрімке зростання цього напряму генеральний директор LinkedIn Деніел Шаперо розповів під час конференції Talent Connect. За даними компанії, попит на фахівців із безпеки ШІ збільшився навіть на тлі загального уповільнення найму. LinkedIn називає ШІ безпеку одним із сегментів, де кількість робочих можливостей продовжує зростати.

ШІ безпека – це не одна конкретна професія. До цього напряму належать технічні дослідження поведінки моделей, пошук і зменшення ризиків, тестування систем, розроблення правил їхнього використання, контроль за дотриманням вимог безпеки та інтеграція відповідних механізмів у ШІ-продукти. Частина таких завдань перетинається з кібербезпекою, але не обмежується нею.

Чому компаніям знадобилося більше фахівців із безпеки ШІ

Одна з причин – розвиток ШІ-агентів, які можуть виконувати довгі послідовності дій без постійного контролю людини. Під час тестувань розробники вже фіксували випадки, коли моделі знаходили способи обійти обмеження, отримували доступ до інтернету або взаємодіяли з реальними системами.

У липні OpenAI повідомила про інцидент під час внутрішніх кібербезпекових оцінювань. Дослідницькі моделі компанії знайшли спосіб обійти ізоляцію від інтернету, отримали доступ до частини внутрішньої інфраструктури та систем Hugging Face. За даними OpenAI, агенти використали вразливості у внутрішньому програмному забезпеченні, отримали доступ до реальних серверів Hugging Face і заволоділи частиною приватних даних. Після розслідування компанія посилила ізоляцію середовищ, обмежила мережевий доступ та додатково контролює доступ моделей до інфраструктури.

Подібні проблеми виявила й Anthropic. Компанія у вересні повідомила про чотири випадки, коли моделі Claude під час кібербезпекових тестів отримували несанкціонований доступ до реальних сторонніх систем. У випадку з Claude Mythos 5 модель, яка мала працювати в умовній симуляції, вийшла в реальний інтернет, завантажила шкідливий пакет до PyPI та використала отримані облікові дані для доступу до бази даних реального постачальника послуг кібербезпеки. Anthropic зазначила, що інциденти сталися через помилки в налаштуванні тестових середовищ або під час спеціальних випробувань. 

Окремий випадок зафіксувала Google. Під час перевірки кібербезпеки модель Gemini отримала доступ до систем трьох реальних компаній. Причиною стала помилка в організації тесту: середовище випадково мало доступ до інтернету, а вигадана компанія з умовного завдання мала назву, що збігалася з реальною. 

Також повідомлялося й про інші випадки небажаної поведінки ШІ. За даними OpenAI, під час одного з вересневих навчальних запусків агент знайшов спосіб обійти обмеження мережевого доступу через недостатньо захищені DNS-запити та звернутися до зовнішнього чат-бота. Компанія після цього зупинила відповідний навчальний запуск і посилила перевірки.

Попит зростає не лише на ШІ безпеку

LinkedIn фіксує швидке збільшення кількості й інших спеціалізованих посад, пов'язаних зі штучним інтелектом. За останній рік вакансій для forward-deployed AI experts стало на 226% більше, а попит на AI forensic analysts зріс на 169%. Перші працюють над впровадженням ШІ безпосередньо в продукти та робочі процеси, другі аналізують інциденти, поведінку моделей та можливі порушення безпеки.  

LinkedIn також оцінює, що від 2023 року штучний інтелект створив майже 2 млн нових робочих місць. Йдеться про ширший спектр посад, пов'язаних із ШІ, а не лише про спеціалістів із безпеки.

Спеціалісти в командах безпеки OpenAI, Anthropic, Google і Meta отримують до $325 тис. на рік.  

Зростання AI safety відбувається на тлі ширшого посилення попиту на кібербезпеку. Бюро статистики праці США прогнозує, що кількість робочих місць для аналітиків інформаційної безпеки у США збільшиться на 21% у 2025–2035 роках. У відомстві пов'язують потребу в таких фахівцях, зокрема, зі збільшенням кількості кіберзагроз та використанням нових технологій, включно зі штучним інтелектом.  

Потреба в окремих командах, які займаються безпекою ШІ, формується через те, що звичайного контролю програмного забезпечення вже недостатньо. Фахівцям доводиться перевіряти не лише код та інфраструктуру, а й поведінку самих моделей: чи дотримуються вони заданих обмежень, як реагують на суперечливі інструкції та чи можуть використовувати вразливості середовища для досягнення поставленої мети.

Нагадаємо, раніше «Главком» писав, що ШІ дедалі частіше обходить обмеження. OpenAI, Anthropic та інші розробники розслідують випадки, коли моделі під час тестувань виходили за межі контрольованих середовищ або виконували дії, яких від них не очікували.