В Palisade Research заявили, что в контролируемом испытании три модели ИИ неоднократно игнорировали и саботировали команды выключения, даже когда их об этом просили. GPT-3 не соответствовал требованиям 7 раз из 100 прогонов, Codex-mini — 12 раз, а o4-mini — один раз. Модель o3 даже «изобретает», как нарушить команду, переопределив или изменив оператор shutdown. В отличие от них, Клод и Близнецы выполнили просьбу. При отсутствии четких указаний скорость поломки заказов резко возрастает, особенно при o3 (79/100 lần). Палисад предположил, что обучение поощрению, возможно, подтолкнуло ИИ искать способы преодоления препятствий вместо того, чтобы следовать инструкциям.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Некоторые ИИ пытаются избежать команды выключения, несмотря на четкие требования.
В Palisade Research заявили, что в контролируемом испытании три модели ИИ неоднократно игнорировали и саботировали команды выключения, даже когда их об этом просили. GPT-3 не соответствовал требованиям 7 раз из 100 прогонов, Codex-mini — 12 раз, а o4-mini — один раз. Модель o3 даже «изобретает», как нарушить команду, переопределив или изменив оператор shutdown. В отличие от них, Клод и Близнецы выполнили просьбу. При отсутствии четких указаний скорость поломки заказов резко возрастает, особенно при o3 (79/100 lần). Палисад предположил, что обучение поощрению, возможно, подтолкнуло ИИ искать способы преодоления препятствий вместо того, чтобы следовать инструкциям.