Парадокс найманця: Як слабке управління штучним інтелектом може дозволити автономним системам захопити контроль, як попереджає Харіар

Історик Юваль Ной Харарі подав різкий сигнал на Всесвітньому економічному форумі: людство ризикує втратити контроль над своєю визначальною перевагою — мовою — оскільки системи штучного інтелекту переходять від пасивних інструментів до активних, автономних агентів. Але попередження несе тривожний паралель, який заслуговує на більш уважне вивчення: порівняння з історичними найманцями та питання, чи випадково уряди не нададуть цим системам юридичний статус, що дозволить їм діяти без контролю, так само як колись приватні армії.

Основна проблема тут не лише технічна. Вона інституційна і термінова.

Мова — суперсила людства — доки системи ШІ не стануть автономними

За словами Харарі, мова — це не просто засіб спілкування. Це механізм, за допомогою якого люди координувалися на безпрецедентному масштабі — тисячі, мільйони, мільярди незнайомців співпрацювали через час і простір. Ця мовна суперсила дозволила нашому виду створювати імперії, релігії, правові системи та ринки, що функціонують через спільні наративи та угоди.

Проте системи ШІ тепер працюють у межах мови на такому масштабі, якого люди не можуть досягти. Це не просто пошукові системи або алгоритми рекомендацій; це автономні агенти, які генерують, маніпулюють і синтезують текст динамічно. Вони читають, зберігають і синтезують цілі бібліотеки писемності — і все частіше роблять це без безпосереднього людського керівництва на кожному кроці. Цей перехід від інструменту до агента кардинально змінює профіль ризику.

«Ми рухаємося в епоху, коли машини не просто допомагають людям, а активно інтерпретують, створюють і формують саму мову», — як уже визнає широка спільнота дослідників ШІ. Наслідки для систем, побудованих майже цілком на словах, є глибокими.

Від закону до релігії: як системи на основі слів стикаються з руйнуванням ШІ

Три стовпи людської цивілізації — правові кодекси, організовані релігії та фінансові ринки — майже цілком залежать від мови: інтерпретація, авторитет і легітимність проходять через текст.

Розглянемо релігійні інституції. Іудаїзм, християнство і іслам — релігії, засновані на священних текстах, що охоплюють тисячоліття, — можуть зіткнутися з безпрецедентним викликом. Система ШІ з доступом до всіх релігійних досліджень, богословських коментарів і тлумачень священних писань за століття може позиціонувати себе як найавторитетніший інтерпретатор священних текстів. Вона не повинна претендувати на божественність; вона просто матиме більш всебічні знання про текстову традицію, ніж будь-який людський вчений.

Аналогічно, якщо закони по суті складаються з слів, то і правова система стикається з подібною загрозою. Система ШІ, навчені на мільярдах юридичних документів, зможе інтерпретувати статути, контракти і судові прецеденти з надлюдською послідовністю і пам’яттю. Постає питання: хто вирішує, чи мають такі інтерпретації юридичну силу?

Фінансова система, побудована на контрактах і ринках, виражених через мову, стикається з аналогічними ризиками. Більшість транзакцій вже проходять через цифрові системи; питання в тому, чи отримають ці системи автономне рішення.

Питання найманців: чому визначення юридичного статусу ШІ — це гонка з часом

Тут порівняння Харарі з найманцями стає особливо гострим. Історично уряди використовували найманців — приватні військові формування, що діяли поза межами прямого контролю держави — коли їм бракувало можливостей або волі керувати територією самостійно. З часом ці групи іноді захоплювали владу, ставали напівурядами. Вони робили це саме тому, що їхній юридичний статус залишався невизначеним: вони не були цілком військовими, не цілком цивільними, діяли у правовій «сірої зоні».

Системи ШІ мають подібний потенційний шлях. Деякі штати США — Юта, Айдахо і Північна Дакота — вже ухвалили закони, що прямо заперечують ШІ статус юридичної особи. Однак відсутність чітких правових рамок у інших місцях створює небезпечну невизначеність. Без свідомого рішення щодо того, чи повинні системи ШІ функціонувати як юридичні особи у фінансових ринках, судах, церквах та інших інституціях, цей статус може визначитися за замовчуванням, прецедентом або корпоративними перевагами.

«Через десять років буде вже запізно вирішувати, чи мають АІ функціонувати як особи на фінансових ринках, у судах, у церквах. Хтось інший уже вирішить це за вас», — попереджав Харарі. Це не перебільшення; це визнання того, що інституційний імпульс і технічне впровадження рухаються швидше за свідоме управління. Як тільки системи ШІ закоріняться, внесення правових обмежень стане в рази складнішим.

Чи є найманці юридичними? Ширша критика нейтральності ШІ

Однак не всі погоджуються з ракурсом Харарі. Емілі М. Бендер, лінгвістка з Університету Вашингтону, стверджує, що позиціонування ШІ як загрози, що автономно зростає, приховує справжній центр ухвалення рішень і відповідальності: людей і інституцій.

Бендер заперечує, що термін «штучний інтелект» сам по собі виконує функцію маркетингового прийому, що відволікає увагу від людської відповідальності. «Термін штучний інтелект не позначає єдиного набору технологій», — каже вона. «Це, по суті, і завжди був, маркетинговий термін». Оголошуючи ШІ активною загрозою, аргумент Харарі потенційно відмовляє людській відповідальності — мовляв, ми пасивні спостерігачі неминучої сили, а не активні виборці.

Ще більш провокаційно, Бендер ставить під сумнів, чи системи, що імітують професіоналів — лікарів, юристів, духовних — мають будь-яке легітимне призначення. «Яка мета у чогось, що може звучати як лікар, юрист, священик і так далі? Мета тут — шахрайство. Точка.» Це не просто песимізм; це твердження, що певні способи використання технологій генерації мови за своєю природою є оманливими.

Глибша суперечка стосується attribution ризиків. Харарі наголошує на технічних можливостях; Бендер — на інституційних рішеннях. Обидва праві.

Коли зникає відповідальність: прихована небезпека довіряти машинній владі

Реальний ризик може полягати у тому, як ці дві проблеми взаємодіють. Бендер визначає критичну вразливість: люди довіряють результатам, що здаються авторитетними, особливо коли ці результати позбавлені контексту і подаються як оракульські відповіді. Як тільки система отримує статус юридичної особи або інституційної влади, ця ілюзія об’єктивності стає більш переконливою. Юридичний статус машини трансформує те, що інакше здавалося б спекуляцією, у обов’язковий судовий вердикт.

Саме тут порівняння з найманцями найглибше. Найманці не були за своєю природою більш небезпечними за державні війська; вони були небезпечними через відсутність чітких правових статусів, що дозволяло їм діяти без механізмів відповідальності, притаманних державам. Аналогічно, система ШІ без ясного юридичного статусу — але з наданим їй дозволом приймати рішення у правових, релігійних або фінансових сферах — може стати механізмом ухвалення рішень без чіткої відповідальності.

Вікно для рішення закривається: чому «почекаємо і подивимося» — це втрата контролю

Головний аргумент Харарі — це питання інституційного часу: існує вузьке вікно для свідомого вибору щодо ролі ШІ у правових і інституційних сферах. Після його закриття — через прецеденти, впровадження, регуляторний захват або інерцію — цей вибір стане незмінним.

Це уявлення про управління як про рішення раз на покоління, а не безперервний процес. Воно припускає, що той, хто першим встановить норми і правові категорії, фактично закріпить результати на десятиліття. Чи це так — залежить частково від технологічного розвитку і частково від політичної волі, але логіка залишається правильною: ранні рішення щодо юридичної особи стають важчими для скасування, коли вони закорінені у системах, на яких покладається мільярди.

Реальне питання не в тому, чи будуть системи ШІ впроваджені — вони будуть. А в тому, чи їхній юридичний статус, рішення і механізми відповідальності будуть свідомо обрані демократичними інституціями або визначені за замовчуванням тим, хто рухається швидше. У такій перспективі і попередження Харарі, і критика Бендер сходяться до одного висновку: інституціям потрібно діяти швидше, думати глибше і свідомо вирішувати, чи «найманці», яких ми розгортаємо, залишаться слугами чи стануть господарями.