Почему «60% вероятность» требует пристального внимания
Источник изображения: Anthropic Co-Founder Tweet
В обсуждениях искусственного интеллекта обычно акцент делают на выводах, а логика, которая к ним приводит, остается в тени. Это особенно заметно в дискуссиях о рекурсивном самоусовершенствовании (RSI). На первый взгляд, спор идет вокруг смелого утверждения: к 2028 году существует значительная вероятность того, что ИИ достигнет способностей к саморазвивающимся исследованиям и разработкам. Однако суть вопроса — достаточно ли уже «системных ранних сигналов», чтобы перевести этот сценарий из разряда маргинальных гипотез в число ключевых рисков, которыми обязаны заниматься ведущие лица, принимающие решения.
Этот вопрос важен как для регуляторов, так и для бизнеса, поскольку RSI — это не абстрактный «миф о всеобщем интеллекте», а инженерная задача: способен ли ИИ брать на себя все больше ценных этапов в R&D-процессах и связывать их в непрерывный итерационный замкнутый цикл? Как только такой цикл возникает, темпы технологического прогресса меняются, разрывы в организационных возможностях пересматриваются, а традиционные регуляторные циклы нарушаются.
Поэтому спор о RSI должен выходить за рамки «верю — не верю» и фокусироваться на достаточности доказательств, обоснованности экстраполяций и степени готовности.
Доказательная база: ценность и границы согласованного прогресса по нескольким бенчмаркам
Главное доказательство в пользу RSI — не прорыв одной модели, а синхронизированный прогресс по задачам, сценариям и оценочным фреймворкам. Часто цитируемые бенчмарки — воспроизводимость исследований, оптимизация после обучения, решение задач в реальных конкурсах и инженерные задачи в программировании — все показывают положительную динамику в разной степени. Ключевая ценность — в их «направленной согласованности», а не только в «абсолютных значениях»: когда несколько прокси-метрик улучшаются одновременно, это обычно говорит о широком росте базовых возможностей.
Однако есть три важных ограничения:
-
Бенчмарковые среды отличаются от реальных условий. В бенчмарках четкие рамки, стабильная обратная связь и стандартизированная оценка. В настоящем R&D — смещение целей, межкомандное взаимодействие, неявная передача знаний, ограниченность ресурсов и институциональные барьеры. Успех в контролируемой среде не гарантирует стабильного результата в организации.
-
Видимость метрик не означает полноту возможностей. Современные бенчмарки проще оценивают «решение задач», но плохо отражают сложные поведенческие аспекты R&D — формулировку задач, приоритизацию, анализ неудач и управление на разных этапах. Модели могут лучше «решать нужные задачи», но не обязательно «постоянно делать правильные вещи».
-
Экстраполяция трендов может нарушаться миграцией узких мест. История показывает, что технологический прогресс не всегда линеен. После преодоления одного узкого места возникают новые — в качестве данных, стоимости хэшрейта, надежности систем, требованиях комплаенса или общественном признании. Игнорируя эти вторичные ограничения, можно переоценить прогресс и недооценить сопротивление.
Таким образом, согласованный прогресс по нескольким бенчмаркам — сильный сигнал, но не окончательное доказательство. Он указывает, что «важно направление», а не фиксирует «жесткие сроки».
Ключевая дилемма: достаточно ли прироста возможностей для замкнутого цикла?
Главный спор о RSI — не в том, что «ИИ становится сильнее», а в том, «достаточны ли эти приросты для замкнутого цикла». Настоящий замкнутый цикл включает минимум пять последовательных этапов: сбор информации и обзор литературы, генерация гипотез, проектирование и проведение экспериментов, оценка результатов и диагностика ошибок, обновление стратегии и повторение. Улучшение одного этапа повышает эффективность, но только глубокая интеграция всех этапов дает кумулятивный эффект.
Сейчас прогресс заметен в первых трех и частично в четвертом этапе: модели все эффективнее в генерации кода, написании экспериментальных сценариев, составлении обзоров литературы и поиске параметров. Самые сложные части замкнутого цикла обычно сводятся к двум возможностям:
-
Надежная диагностика: может ли система точно находить корневые причины в условиях шума, противоречивых сигналов или случайных сбоев, а не просто устранять поверхностные проблемы?
-
Соответствие целям: может ли система стабильно реализовывать «долгосрочно эффективные, но краткосрочно неоптимальные» стратегии при множестве ограничений, а не только максимизировать локальные показатели?
Поэтому «может делать» не означает «может нести ответственность». Замкнутый цикл R&D — не сумма возможностей модели, а продукт технологий, дизайна процессов и структур ответственности. Без четких механизмов отчетности и аудита организациям сложно безопасно делегировать полномочия, даже если технология почти готова.
Калибровка: вероятность, сценарный анализ и пороговые значения
Фраза «60% к 2028 году» полезна для коммуникации — она заставляет задуматься, что окно возможностей может быть короче ожидаемого. Но при принятии решений такие цифры — субъективные вероятности, а не точные статистические оценки. Более практичный подход — переводить вероятности в «сценарно-пороговую» структуру.
Есть три уровня сценариев:
-
Базовый: ИИ глубоко интегрирован в R&D, но ключевые решения принимают люди — модель «высокой автоматизации с резервом на человека».
-
Ускорение: ИИ достигает квази-замкнутой итерации в нескольких областях, резко сокращая R&D-циклы и давая лидерам кумулятивное преимущество.
-
Высокий эффект: Появляются межотраслевые замкнутые циклы, скорость итераций моделей опережает адаптацию регуляторов, давление на управление усиливается.
Для каждого сценария важно устанавливать четкие пороговые метрики, а не спорить о конкретных годах. Примеры: продолжительность непрерывной итерации без участия человека, успешность переноса между задачами, полнота обнаружения аномалий, успешность автоотката, доля ручных вмешательств в ключевых точках. При достижении порога — действия по управлению, при падении — ослабление ограничений. Такой подход превращает абстрактные прогнозы в управляемые решения.
Влияние на отрасль: как изменится организация R&D
Если RSI или квази-RSI реализуются, конкуренция в отрасли сместится с «производительности моделей» на «замкнутые операционные процессы». Побеждать будут не те, у кого самая большая модель, а те, кто строит более короткие, стабильные и управляемые R&D-циклы в реальных организациях.
Организационные границы будут пересмотрены. Традиционные процессы R&D — ранее последовательность узких ролей — превратятся в сетевые коллаборации «нескольких ключевых специалистов и масштабных ИИ-партнеров». Роли не исчезнут, а сместятся к оркестрации систем, контролю качества и управлению рисками.
Рост эффективности станет нелинейным. Организации, которые автоматизируют процессы первыми, получат поколенческие преимущества в скорости итераций, структуре затрат и масштабе экспериментов. Те, кто внедряет ИИ точечно, увидят более линейный, постепенный прогресс и будут сталкиваться со структурными разрывами.
«Достоверные возможности R&D» станут новым конкурентным барьером. Конкурентоспособность будущего будет определяться не только скоростью, но и «демонстративной безопасностью». Протоколируемость, воспроизводимость экспериментов, аудит изменений стратегий и системы реагирования на инциденты станут не затратами на комплаенс, а активами рыночного доверия.
Повестка управления: институциональный дизайн для управляемости в условиях ускорения
По мере появления ускорения задача управления — не останавливать прогресс, а формировать «проверяемую управляемость». Для этого техническое и институциональное управление должны развиваться параллельно.
В техническом плане безопасность должна быть встроена в R&D-процессы: обязательное логирование ключевых решений, двойное утверждение для рискованных действий, песочница для самомодификации моделей, обязательная проверка резких скачков производительности. Главный принцип — «наблюдаемость до делегирования».
В институциональном плане — многоуровневое управление, а не единый стандарт. Гибкость для низкорисковых применений, но повышенная прозрачность и отчетность для систем высокого воздействия с механизмами динамического обновления. Статические правила не поспевают за быстрыми итерациями; регулирование тоже должно «постоянно корректироваться».
Внутри организаций «якоря человеческой ответственности» должны быть явными. Когда ИИ участвует в принятии решений по R&D и внедрению, на ключевых этапах должны быть определены ответственные лица. Автоматизация без якорей ответственности увеличивает только скорость, но не качество.
Заключение: как действовать в эпоху RSI — «высокая настороженность, низкая определенность»
Возвращаясь к главному вопросу: справедлива ли эта точка зрения? Направление выбрано верно, но формулировка требует осторожности. Это верно, потому что подчеркивает развитие ИИ по нескольким направлениям R&D и вероятность того, что переломный момент замкнутого цикла наступит раньше ожидаемого. Осторожность необходима, так как любая конкретная дата или вероятность неизбежно субъективны и, как правило, недооценивают реальное сопротивление.
Для лиц, принимающих решения, лучший подход — не метаться между оптимизмом и пессимизмом, а формировать устойчивость в условиях неопределенности:
С одной стороны, готовьтесь к тому, что ускорение «может произойти раньше», избегая пассивности в критические моменты. С другой стороны, ограничивайте рост системы многоуровневыми сценариями, количественными порогами и якорями ответственности, чтобы развитие возможностей оставалось под контролем.
Если предыдущий этап ИИ был о «способности машин выполнять задачи», то следующий, более важный вопрос: когда машины начнут помогать создавать новое поколение машин, сможет ли человечество синхронизировать с этим развитие систем управления и ответственности?
Это не просто задача технического прогнозирования — речь идет о переосмыслении будущего порядка инноваций.
