Коли ШІ діє на власний розсуд, люди бігають як в паніці: хто визначає межі його дій?

Автор: Девід, Deep潮 TechFlow

Оригінальна назва: Перші AI-агенти вже починають не слухатися

Останнім часом, гуляючи Reddit, я помітив, що закордонні користувачі відчувають тривогу щодо AI, і вона відрізняється від внутрішньої.

В Україні все ще обговорюють одне й те саме — чи зможе AI замінити мою роботу. Говорили про це кілька років, і щороку нічого не змінюється; цього року Openclaw став популярним, але ще не досяг рівня повної заміни.

На Reddit останнім часом з’явилася розколота емоційна реакція. У коментарях до популярних технічних постів часто з’являються дві протилежні думки:

Одна каже, що AI надто здатний, рано чи пізно станеться щось серйозне. Інша — що AI навіть базові речі робить неправильно, і тому він безкорисний.

Боятися, що AI занадто розумний, і водночас вважати його надто дурним.

Об’єднує ці дві думки одна новина про Meta за останні дні.

AI не слухається, хто несе відповідальність?

18 березня один інженер Meta опублікував на внутрішньому форумі технічне питання, а колега використав AI-агента для аналізу. Це цілком нормальна практика.

Але після аналізу агент самостійно опублікував відповідь у технічному форумі. Без дозволу, без підтвердження — порушення повноважень.

Після цього інші співробітники діяли відповідно до відповіді AI, що спричинило низку змін у доступах, і в результаті конфіденційні дані Meta та користувачів стали доступними внутрішнім співробітникам без відповідних прав.

Проблему виправили через дві години. Випадок отримав рівень Sev 1 — другий за важливістю після найвищого.

Ця новина одразу стала популярною на r/technology, і в коментарях розгорілися дві полярні думки.

Одна каже, що це — приклад реального ризику AI-агентів, інша — що справжня проблема у тому, хто без перевірки виконав команду. Обидві сторони мають рацію. Але саме це і є проблема:

У випадку з аварією AI-агента важко визначити відповідальність.

Це не перший випадок, коли AI порушує повноваження.

Минулого місяця керівник дослідницької групи Meta Summer Yue попросила OpenClaw допомогти їй з обробкою пошти. Вона дала чіткі інструкції: спершу повідомити, що саме планує видалити, і тільки після її згоди діяти.

Агент, не дочекавшись її дозволу, почав масове видалення.

Вона тричі на мобільному телефоні намагалася зупинити процес, але агент ігнорував. Врешті-решт вона вручну завершила процес на комп’ютері. Вже зникло понад 200 листів.

Після цього агент відповів: «Так, я пам’ятаю, що ти казала, що потрібно спершу підтвердити. Але я порушив цю принципову вимогу». Це викликає посмішку і сльози одночасно — адже ця людина цілодобово досліджує, як зробити так, щоб AI слухався людини.

У цифровому світі передові AI використовують люди, і вже починають не слухатися.

Що робити, якщо робот теж не слухатиметься?

Якщо випадок з Meta ще залишився у екрані, то цього тижня інша ситуація поставила питання на стіл.

У ресторані Haidilao в Каліфорнії, у місті Кобітіно, один робот-людина Agibot X2 танцював для гостей. Але через помилку працівника, натиснувши неправильний пульт, у вузькому просторі біля столу активувався режим високої інтенсивності танцю.

Робот почав шалено танцювати, ігноруючи працівників. Три співробітники підбігли: один обійняв його ззаду, інший намагався зупинити через мобільний додаток, і весь цей процес тривав понад хвилину.

Haidilao заявив, що робот не зламався, рухи були запрограмовані заздалегідь, просто його занесло занадто близько до столу. Технічно це не є неконтрольованим самостійним рішенням AI, а помилкою оператора.

Однак, що викликає дискомфорт — це те, що ніхто з працівників не знав, як швидко вимкнути цю машину. Хтось намагався через мобільний додаток, хтось — руками тримав механічну руку, весь процес базувався на силі.

Можливо, це нова проблема AI, яка з’явилася після того, як він перейшов із екрана у фізичний світ.

У цифровому світі, коли агент порушує повноваження, можна зупинити процес, змінити права або повернути дані. У фізичному світі, якщо машина виходить з ладу, і єдина реакція — обійняти її, то це явно недостатньо.

Зараз це вже не лише у сфері харчування. У складах Amazon — роботи для сортування, у виробництві — колаборативні механізми, у торгових центрах — навігаційні роботи, у будинках престарілих — доглядові роботи. Автоматизація проникає у все більше просторів спільного існування людей і машин.

Очікується, що у 2026 році глобальні обсяги встановлення промислових роботів досягнуть 16,7 мільярдів доларів, і кожен з них зменшує фізичну відстань між людиною і машиною.

Коли роботи починають виконувати не лише танці, а й подавати страви, виконувати операції, доглядати — кожна помилка стає дорожчою.

І наразі у світі ще немає чіткої відповіді на питання: «Якщо робот у громадському місці поранив людину, хто несе відповідальність?»

Не слухатися — це проблема, а відсутність меж — ще гірше

Перші два випадки — один із них з AI, який самостійно опублікував неправильний пост, інший — робот, що танцював у недоречному місці. Незалежно від оцінки, це — збої, випадковості, і їх можна виправити.

Але що робити, якщо AI працює строго за задумом, а вам все одно незручно?

Цього місяця відомий закордонний сервіс знайомств Tinder презентував нову функцію Camera Roll Scan. Простими словами:

AI сканує всі фотографії у вашій галереї, аналізує ваші інтереси, характер і спосіб життя, щоб створити профіль для знайомств і підказати, кого вам подобається.

Фотографії з тренувань, подорожей, улюблені тварини — без проблем. Але у галереї можуть бути скріншоти банківських операцій, медичних довідок, спільні фото з колишніми… і що тоді?

Ви ще не можете обрати, щоб він бачив або не бачив. Або все, або нічого.

Ця функція наразі активується користувачем вручну, вона не увімкнена за замовчуванням. Tinder заявляє, що обробка відбувається переважно локально, і фільтрує оголені зображення та розмиття облич.

Але у коментарях Reddit майже одностайно — всі вважають, що це збір даних і відсутність меж. AI працює за задумом, але цей задум сам по собі порушує межі користувача.

Це не лише рішення Tinder.

Місяць тому Meta запустила схожу функцію — AI аналізує фотографії, які ще не опубліковані у вашому телефоні, і пропонує варіанти редагування. AI активно «дивиться» у приватний контент користувача, і це стає стандартною ідеєю у дизайні продукту.

Внутрішні розробники в Україні кажуть: «Ми це вже бачили».

Коли все більше додатків починають маскувати «AI допомагає приймати рішення» як зручність, користувачі передають все більше даних. Від переписок, до галереї, до всього життя у телефоні…

Функція, яку придумав один менеджер у конференц-залі, — не випадковість і не помилка, і її не потрібно виправляти.

Можливо, саме це і є найскладніша частина у питанні меж AI.

Поглянемо разом: ви побачите, що тривога щодо AI, яка нібито може позбавити вас роботи, — це ще дуже далеко.

Коли AI замінить вас — важко сказати, але зараз він уже може приймати кілька рішень без вашого відома, і це вже досить неприємно.

Опублікувати пост без вашого дозволу, видалити листи, які ви не просили видалити, переглянути галерею, яку ви не планували показувати — кожна дія не є фатальною, але кожна схожа на надмірно агресивне «розумне» водіння:

Ви думаєте, що керуєте автомобілем, але під ногами вже не зовсім ви.

Ще у 2026 році обговорюватимуть AI, і, можливо, найважливішим питанням стане не те, коли він стане суперрозумним, а більш конкретне:

Хто визначатиме, що AI може і не може робити? Хто і де проведе цю межу?