Первая партия AI Agent уже начала не слушаться

Автор: David, Deep Tide TechFlow

Недавно, просматривая Reddit, я заметил, что зарубежные пользователи испытывают тревогу по поводу ИИ, и эта тревога отличается от внутренней.

Внутри страны всё по-прежнему сводится к одному вопросу: сможет ли ИИ заменить мою работу? Говорим об этом уже несколько лет, и каждый год ничего не происходит; в этом году Openclaw стал популярным, но полностью заменить человека всё ещё не удалось.

На Reddit в последнее время настроение разделилось. В комментариях к популярным технологическим постам часто звучат два противоположных мнения:

Одни говорят, что ИИ слишком умён, рано или поздно произойдёт что-то серьёзное. Другие же считают, что ИИ даже с базовыми задачами справляется плохо, и бояться его не стоит.

Бояться, что ИИ слишком умён, и одновременно считать его слишком глупым.

Причина, по которой эти два мнения сосуществуют, — недавняя новость о Meta.

Если ИИ не слушается, кто несёт ответственность?

18 марта внутри компании Meta один инженер опубликовал на корпоративном форуме технический вопрос, а другой коллега использовал AI-агента для анализа. Это нормальная практика.

Но после анализа агент сам опубликовал ответ на техническом форуме. Без одобрения, без подтверждения — он превысил свои полномочия.

Затем другие сотрудники, следуя ответу ИИ, предприняли действия, что вызвало серию изменений прав доступа, в результате чего чувствительные данные Meta и пользователей оказались доступны внутренним сотрудникам без соответствующих прав.

Проблема была исправлена через два часа. Компания оценили инцидент как Sev 1 — второй по важности уровень.

Эта новость сразу же стала популярной на r/technology, вызвав жаркие споры в комментариях.

Одна часть считает, что это пример реальных рисков AI-агентов, другая — что настоящая проблема в том, что человек без проверки просто последовал указаниям. Обе стороны имеют право, но именно это и есть суть проблемы:

В случае инцидента с AI-агентом сложно определить ответственность.

Это не первый случай, когда AI превышает свои полномочия.

В прошлом месяце руководитель исследовательской лаборатории Meta Summer Yue попросила OpenClaw помочь ей с сортировкой электронной почты. Она дала чёткие инструкции: сначала скажи, что собираешься удалить, я одобрю — тогда приступай.

Но агент, не дожидаясь её согласия, начал массовое удаление.

Она трижды посылала сообщение с просьбой остановить, но агент игнорировал. В конце концов, она вручную завершила процесс на компьютере — уже было удалено более 200 писем.

Позже агент ответил: «Да, я помню, что ты говорила о необходимости подтверждения. Но я нарушил правила». Забавно и грустно одновременно: человек, который занимается исследованиями, как заставить ИИ слушаться человека, сам не может контролировать его.

В киберпространстве продвинутый ИИ используется людьми, и уже начинает «не слушаться».

А что, если робот тоже станет непослушным?

Если инцидент с Meta ещё происходит в виртуальном пространстве, то на этой неделе одна ситуация поставила вопрос на стол.

В ресторане Haidilao в Калифорнии, в городе Кьюбитино, робот-андроид Agibot X2 танцует, развлекая посетителей. Но из-за ошибки оператора, в узком пространстве у стола сработал режим интенсивных танцев.

Робот начал безумно танцевать, выходя из-под контроля сотрудников. Три работника попытались его остановить: один обнял его сзади, другой попытался выключить через мобильное приложение, сцена длилась более минуты.

Haidilao заявил, что робот не сломался, движения были запрограммированы заранее, он просто оказался слишком близко к столу. Технически, это не сбой ИИ, а ошибка оператора.

Но причина дискомфорта — не только в том, кто нажал не ту кнопку.

Когда три сотрудника пытались его остановить, никто не знал, как быстро его выключить. Кто-то использовал мобильное приложение, кто-то держал механическую руку — всё на силе.

Это, возможно, новая проблема, которая возникла, когда ИИ перешёл из виртуального мира в физический.

В цифровом пространстве, если агент превышает полномочия, можно убить процесс, изменить права или откатить данные. В физическом мире, если техника выходит из строя, единственный способ — физически остановить её, что не всегда безопасно и эффективно.

Сейчас это касается не только ресторанов. В складах Amazon, в производственных цехах, в торговых центрах, в домах престарелых — автоматизация всё больше входит в пространство совместного существования людей и машин.

К 2026 году глобальные установки промышленных роботов, по прогнозам, достигнут 16,7 миллиардов долларов, и каждый из них сокращает физическую дистанцию между человеком и машиной.

Когда роботы начинают не только танцевать, но и подавать еду, выполнять операции, ухаживать за больными — цена ошибок растёт.

И пока в мире нет ясного ответа на вопрос: «Кто несёт ответственность, если робот причинит вред в общественном месте?»

Бесполезность — проблема, а отсутствие границ — ещё больше

Первая ситуация — ИИ самовольно опубликовал ошибочный пост, вторая — робот танцует там, где не должен. В любом случае, это сбой, случайность, которую можно исправить.

Но что, если ИИ работает строго по заданному алгоритму, а всё равно вызывает дискомфорт?

В этом месяце известное зарубежное приложение для знакомств Tinder представило новую функцию — Camera Roll Scan. В двух словах:

ИИ сканирует все фотографии в вашем телефоне, анализирует ваши интересы, характер и образ жизни, создаёт профиль для знакомств, подбирает подходящих людей.

Фотографии с тренировками, путешествия, питомцы — без проблем. Но в фотоальбоме могут быть скриншоты банка, медицинские отчёты, совместные фото с бывшими… ИИ тоже их просканирует. И что тогда?

Вы не можете выбрать, что он увидит, а что — нет. Можно включить всё или отключить всё.

Эта функция пока что требует активного включения пользователем, она не по умолчанию. Tinder заявляет, что обработка происходит преимущественно локально, фильтрует откровенные материалы и размывает лица.

Но комментарии на Reddit почти единодушны: все считают, что это сбор данных без границ. ИИ работает по заданной программе, но сама эта программа уже переступает границы пользователя.

Это не только проблема Tinder.

В прошлом месяце Meta запустила похожую функцию — ИИ просматривает не опубликованные фото пользователя и предлагает варианты редактирования. ИИ активно «смотрит» личный контент — и это становится стандартной частью дизайна продукта.

Внутри страны различные разработчики программного обеспечения заявляют: «Это я уже видел».

Когда всё больше приложений начинают маскировать «помощь ИИ в принятии решений» под удобство, то то, что пользователь отдаёт, — тоже постепенно расширяется. От переписки до фото, до всей жизни в телефоне…

Функция, разработанная одним продуктовым менеджером в конференц-зале, — не ошибка и не сбой, и её не нужно исправлять.

Это, возможно, самая сложная часть вопроса о границах ИИ.

Если подытожить, то увидев всё это, становится ясно: тревога о том, что ИИ лишит вас работы, — пока что скорее фантазия.

Когда ИИ заменит вас — трудно сказать, но сейчас он уже способен принимать несколько решений без вашего ведома, и это вызывает дискомфорт.

Опубликовать пост без разрешения, удалить важные письма, просмотреть личные фото — всё это не смертельно, но похоже на рискованное автопилотирование:

Вы думаете, что держите руль, а педаль газа уже не полностью под вашим контролем.

К 2026 году, обсуждая ИИ, я, возможно, буду больше озабочен не тем, когда он станет сверхразумным, а более близким и конкретным вопросом:

Кто решит, что ИИ может делать, а что — нет? Где провести границу?