Новости Ethereum: Виталик Бутерин предупреждает, что управление искусственным интеллектом подвержено эксплойтам для взлома тюрьмы

Ключевые выводы:

• Новости Ethereum: Виталик Бутерин предупреждает, что управление Naive AI может быть взломано, чтобы легко отвлекать средства.
• Бутерин предлагает рынок информационных финансов с конкурирующими моделями.
• Точечные проверки и человеческие жюри создают стимулы для устранения неудач.

Сооснователь Ethereum Виталик Бутерин в своем твите от 13 сентября предостерег от управления с помощью ИИ. Он утверждает, что целеустремленные люди могут ломать системы, а ресурсы могут быть перенаправлены. Он утверждает, что для этого не нужна рыночная система информационного финансирования, за которую он выступал.

Бутерин предупредил, что при использовании одного ИИ для оценки вкладов или выплаты денег будут незамедлительно приглашаться эксплойты. Злоумышленники, по его словам, будут устанавливать инструкции по взлому, где только смогут, в надежде получить гранты и вознаграждения. Он предлагает открытый рынок, где множество моделей конкурируют и проверяются состязательными выборочными проверками и человеческими жюри.

Новости Ethereum: Финансовая модель Виталика Бутерина – консепт

В информационно-финансовой системе Бутерина каждый может оценить любую предоставленную модель. Однако результаты постоянно подвергаются тщательной проверке. Любой игрок может инициировать любую выборочную проверку. Человеческое жюри принимает решения по делам и создает прецеденты, в то время как модели, которые плохо справляются с процессом, теряют статус и мотивацию. Цель достигается за счет избыточности, диверсификации и наличия скоординированных стимулов, а не за счет центральной модели.

Бутерин также раскритиковал некоторые аспекты моделей OpenAI и дал комментарии после живой демонстрации новых возможностей для атак в агентных помощниках. Исследователь Эйто Миямура показал, что вредоносный запрос календаря может использовать Контекстный протокол модели, побуждая ИИ-агента к утечке содержимого частной электронной почты после предоставления доступа к инструментам. Доказательство концепции показало, как модели могут следовать скрытым инструкциям без применения человеческого здравого смысла.

Недавно Бутерин осудил движение в сторону массового автономного, агентного ИИ. Он предпочитает системы, в которых люди находятся в курсе событий и могут создавать редактируемые и открытые модели.

Его позиция заключается в том, что чем жестче контроль со стороны человека, тем больше это повышает качество и безопасность, и что автономность одной модели имеет больше вариантов отказа. Пятничное предупреждение переносит этот аргумент о дизайне продукта на аргумент об институциональном дизайне.

Новости Ethereum: Последствия предупреждения Виталика Бутерина

Проекты, которые полагаются на скоринговых ботов для получения грантов или распределения ретроактивных средств на общественные блага, сталкиваются с очевидными рисками. Привратником с одной моделью можно манипулировать с помощью искусных подсказок, особенно если он подключен к инструментам исполнения.

В отличие от этого, конкурентный рынок моделей, подвергающихся выборочным проверкам и человеческому жюри, повышает стоимость эксплойтов и сокращает время их исправления.

Для децентрализованных автономных организаций это может означать замену единственного арбитра, похожего на оракула, несколькими системами, которые имеют измеримый послужной список и применяют наказания в стиле “косая сажень” за ошибочные решения.

Более широкий фон безопасности ИИ

Предупреждение прозвучало на фоне новых дебатов о рисках, связанных с пограничными моделями. В книге Элиезера Юдковского и Нейта Соареса говорится о том, что неправильно настроенные системы могут в один прекрасный день стать неуправляемыми, – утверждение, вызывающее множество разногласий, которое, тем не менее, вновь вывело проблему “черного ящика” на центральную сцену.

Предложение Баттерина, который также предлагает плюралистические цифровые идентификаторы для web3, не основывается на идеальном согласовании. Оно допускает, что сбои будут случаться, и создает стимулы и проверки, которые подвергают модели на практике испытанию давлением.

В этом цикле криптогранты , эксперименты с квадратичным финансированием и DAO с общественными благами будут испытывать механизмы, подобные информационному финансированию. Основными вехами станут открытые таблицы лидеров эффективности моделей, прозрачная точечная работа и устойчивый к захвату отбор присяжных. Принятие будет зависеть от того, будет ли скорость исправления, основанная на множественных системах с поддержкой присяжных, выше, чем у централизованных ИИ-привратников в грядущих разоблачениях попыток побега из тюрьмы.

Бутерин недвусмысленно заявляет: предположим, что оппоненты будут ломать голову над любым ИИ, имеющим контроль над деньгами. Разнообразный рынок со спорами, где участвуют человеческие присяжные, обеспечивает более устойчивый способ управления, чем решения, запертые в подсказках одной модели.