Гобліни в системі: ChatGPT почав масово згадувати казкових істот
OpenAI пояснила, чому ChatGPT збільшив частку згадок про міфічних істот у своїх відповідях
Компанія OpenAI опублікувала звіт про незвичну аномалію, яка проявилася в останніх версіях їхніх мовних моделей. Починаючи з GPT-5.1, користувачі та розробники помітили дивну тягу штучного інтелекту до використання метафор про гоблінів, гремлінів та іншу «нечисть» навіть там, де це абсолютно недоречно. Про це повідомляє «Главком» з посиланням на OpenAI.
Перші ознаки «гоблінізації» з’явилися ще в версії 5.1, коли частота вживання слова goblin зросла на 175%. Проте справжня криза настала з виходом GPT-5.4. Співробітники OpenAI почали масово фіксувати повідомлення про те, що нейромережа вставляє згадки про магічних істот у ділові листи, програмний код та технічні інструкції.
Розслідування показало, що «нульовим пацієнтом» став стиль спілкування nerdy («задрот»). Система винагород, яка мала б заохочувати грайливий і нестандартний стиль відповідей, помилково визначила згадки про казкових істот як «ідеальний варіант».
Хоча цей профіль використовувався лише у 2,5% випадків, на нього припадало майже 67% усіх згадок про гоблінів.
У межах цього стилю частота вживання слова goblin між версіями 5.2 та 5.4 зросла на неймовірні 3881%.
Проблема виявилася глибшою за просте налаштування. Спрацював механізм самонавчання, а саме модель генерувала «гоблінські» відповіді, система винагороди їх схвалювала, а також ці ж відповіді потрапляли у набори даних для навчання наступних ітерацій моделі.
У результаті патерн генералізувався: у базі даних для навчання GPT-5.5, крім гоблінів, виявилися також тролі, огри, єноти та навіть голуби, які згадувалися поза контекстом.
OpenAI була змушена вжити екстрених заходів. У березні особистість nerdy була повністю вимкнена. Пізніше навчальні дані пройшли глибоке очищення від «магічного» впливу. Для поточної версії GPT-5.5 до системного промпта додали спеціальну інструкцію, яка пригнічує тягу моделі до нечисті та тварин.
Нагадаємо, генеральний директор Tesla Ілон Маск під час судового засідання заявив, що штучний інтелект здатен знищити людство, а причиною створення OpenAI назвав особисту образу з боку співзасновника Google.