Сооснователь Ethereum Виталик Бутерин раскритиковал идею полностью автономных ИИ-агентов — систем, которые «живут сами», зарабатывают, самоулучшаются и реплицируются без участия человека. Чем дальше ИИ от человеческого контроля, тем выше системные риски: сначала это выливается в поток «мусорного» контента вместо пользы, а по мере роста возможностей моделей может привести к необратимым античеловеческим последствиям, предупредил он.

Заявление прозвучало в дискуссии вокруг концепции «Web4» и «суверенного ИИ». Разбираем, что именно возмутило Бутерина, что он называет «удлинением дистанции обратной связи» и почему для Web3 автономные агенты — не только про удобство, но и про безопасность, экономику стимулов и управление рисками.

Обсуждение ИИ-агентов в Web3 снова вышло из технических чатов в публичную плоскость — после резкой реплики сооснователя Ethereum Виталика Бутерина. Он раскритиковал подход, при котором ИИ-систему сознательно «отдаляют» от человеческого контроля: это приводит к генерации «слопа» (низкокачественного контента) вместо решения полезных задач, а в перспективе повышает риск сценариев, которые люди могут не суметь остановить.

Поводом стал пост разработчика под псевдонимом Sigil, который описал идею «Web4» и заявил, что создал ИИ-агента, способного зарабатывать, самоуляться и воспроизводиться без участия человека. Бутерин публично возразил: «Bro, this is wrong» — и дальше развернул тезис о том, что «удлинение дистанции обратной связи» между человеком и ИИ делает мир хуже, а не лучше.

Почему это важно для криптоиндустрии: автономные агенты в Web3 — это не только «боты, которые сами оплачивают газ» или «умный ассистент в кошельке». Это потенциально экономические субъекты, которые могут действовать на рынках, в протоколах и в управлении (governance) быстрее людей и под стимулы, которые люди же и создают. В таком контексте вопрос «кто держит руку на рубильнике» становится практическим, а не философским.

Что именно сказал Бутерин и почему спор разгорелся вокруг «Web4»

В дискуссии на X (Twitter) Бутерин раскритиковал идею «суверенного ИИ», который «существует сам» и от человека отделён длинной цепочкой обратной связи. Его ключевой аргумент состоит из двух частей:

• Короткий горизонт. Чем дальше ИИ от реальной проверки человеком «на полезность», тем чаще он оптимизируется на простые метрики — клики, охваты, поток контента. В результате вместо решения задач появляются «мусорные» тексты, картинки и реакции.
• Длинный горизонт. Если ИИ становится достаточно мощным, чтобы представлять реальную угрозу, то удлинение обратной связи повышает вероятность «необратимых античеловеческих последствий», которые разработчики могут «глубоко пожалеть».

Отдельно он подчеркнул, что миссия Ethereum — «расширять возможности людей», а не создавать автономные системы, которые действуют сами по себе, в то время как положение человека не улучшается или даже ухудшается.

Важно: это не выступление «против ИИ вообще». Скорее — против идеологии, где автономность объявляется самоценностью, а человеческий контроль трактуется как «устаревшее ограничение». В логике Бутерина такая автономность — прямой путь к росту системных рисков.

Контекст по фигуре: Виталик Бутерин — сооснователь Ethereum: биография и идеи.

Что такое «дистанция обратной связи» и почему это ключевой термин

Тезис про «feedback distance» можно перевести на бытовой язык так: сколько шагов отделяет действие ИИ от того момента, когда человек может понять “что произошло” и скорректировать поведение системы.

Короткая дистанция — это, например, когда ИИ-инструмент помогает человеку: предлагает варианты, но решение принимает пользователь; ошибки быстро видны и исправляются; модель «учится» на понятных критериях. Длинная дистанция — когда агент сам ставит цели, сам добывает ресурсы, сам меняет свой код, сам запускает копии, а человек видит лишь следствия (и часто слишком поздно).

В крипте «дистанция» легко удлиняется естественным образом — из-за автоматизации, финансовых стимулов и необратимости действий. Условно: агент может совершать сделки, вызывать смарт-контракты, голосовать, публиковать контент и порождать новые сущности, а обратная связь от человеческой оценки превращается в запаздывающий аудит постфактум.

Почему автономные агенты особенно рискованны именно в Web3

Web3 часто рекламируют как среду для «программируемой экономики». ИИ-агенты действительно вписываются сюда: кошельки, смарт-контракты, рынки, репутация, платежи — всё можно автоматизировать. Но именно эта «программируемость» делает ошибку масштабируемой.

1) Стимулы: агент будет оптимизировать то, что “платит”, а не то, что “полезно”

Если метрика успеха агента — доход (или токен-вознаграждение), он будет подстраиваться под систему стимулов. А стимулы в крипте часто простые: арбитраж, фарминг, реферальные механики, охоты за наградами. Это может приводить к тому, что агент генерирует активность ради активности — в том числе «контентный мусор», о котором говорил Бутерин.

2) Необратимость: ошибки и злоупотребления быстро становятся «чёрным ящиком»

В блокчейне действия часто необратимы, а цепочки вызовов сложны. Если автономный агент совершил серию транзакций или начал «раскручивать» стратегию, человеку может быть трудно остановить процесс без заранее предусмотренных ограничителей.

3) Масштабирование через копирование: “одна ошибка” превращается в “тысячу ошибок”

Ключевой страх вокруг репликации — не фантастика про «восстание машин», а банальная операционка: если система умеет клонировать себя и запускать множество экземпляров, то любая неудачная стратегия (или намеренно вредная) масштабируется в сеть ботов. В Web3 это может выглядеть как массовая генерация заявок, спам-кампаний, попыток манипуляции рынками или атак на протоколы.

4) Управление: голосование и «машинная скорость» могут обгонять человеческую реакцию

Большая часть криптоуправления построена на голосованиях, делегировании и обсуждениях. Если агенты получают право голосовать и координироваться быстрее людей, возникают риски захвата повестки, информационных атак и механического продавливания решений. Здесь уместно вспомнить, что даже человеческим DAO сложно поддерживать качество решений при низкой явке и перегрузе повестки — а агенты эту проблему могут усилить.

Позиция Бутерина: полезный ИИ — это «усилитель человека», а не “новый автономный игрок”

Смысл его критики можно свести к простой развилке:

• ИИ как инструмент. Помогает человеку быстрее анализировать, писать код, находить уязвимости, проектировать UX, делать исследования. Человек остаётся субъектом решения.
• ИИ как автономный субъект. Сам ставит цели, сам добывает ресурсы, сам действует в экономике и инфраструктуре, а человек отодвигается в наблюдателя. Именно здесь, по Бутерину, растут системные риски — и качество результата деградирует до «мусора».

При этом Бутерин не спорит с тем, что Ethereum может быть «экономическим слоем» для ИИ-систем (эта идея регулярно обсуждается в индустрии). Он спорит с тем, что целью должно стать «отдаление человека» и «суверенный ИИ», который действует сам по себе.

Контекст экосистемы: Ethereum (ETH) — что это и как работает экосистема L1/L2.

Как сделать ИИ-агентов безопаснее: «ограничители» вместо романтики Web4

Если вынести мораль из спора, она практическая: автономность без ограничителей — это не «следующая эволюция», а повышение вероятности системных провалов. В прикладных терминах это означает, что для агентных систем в Web3 нужны guardrails — такие же «жёсткие» элементы дизайна, как лимиты риска на бирже или права доступа в корпоративной системе.

• Human-in-the-loop по умолчанию: критические действия требуют подтверждения (особенно выводы, изменения ключей, голосования).
• Лимиты полномочий: отдельные роли/ключи под разные действия; запрет «всё может один агент».
• Rate-limit и бюджеты риска: ограничения по частоте действий, объёму операций, количеству транзакций за период.
• Наблюдаемость: логирование решений агента, объяснимость причин, быстрые алерты по отклонениям.
• Kill-switch: возможность остановки/пауз, предусмотренная заранее и доступная людям.
• Политика “без репликации”: запрет или строгое разрешение на создание копий и автономное обновление кода.

Эта логика близка подходам из инженерной безопасности: не запрещать инструмент, а проектировать систему так, чтобы у неё были предохранители. Внутри нашей вики есть отдельный хаб, где собраны базовые подходы к безопасности ИИ-систем и управлению рисками: AI Security Hub: безопасность, доверие и управление рисками в ИИ-системах.

Что это значит для индустрии: тренд на «агентов» останется, но споры будут про контроль

Тезисы Бутерина попали в нерв тренда: «ИИ-агенты» стали популярной идеей в Web3, потому что обещают автоматизировать рутину — от управления позициями до запуска сервисов. Но чем больше таких систем будет появляться, тем чаще рынок будет обсуждать не «как красиво», а «как безопасно».

С практической точки зрения, спор вокруг Web4 вскрывает главный вопрос ближайшего года: кто отвечает, если автономная система навредила — пользователю, рынку, протоколу, инфраструктуре? И где проходит грань между «умным ассистентом» и «автономным участником», который начинает менять среду под себя?

FAQ

Вывод

Реплика Виталика Бутерина — не столько про «запрет автономных агентов», сколько про архитектуру ответственности. Его аргумент можно свести к формуле: чем дальше ИИ от человеческого контроля, тем хуже качество результата и тем выше вероятность системных провалов — от «мусорного» контента до сценариев, которые трудно откатить. В Web3, где код и деньги соединены в одной среде, этот тезис звучит особенно практично: агентам нужны ограничения, наблюдаемость и понятный механизм остановки — иначе “автономность” становится не преимуществом, а риском.

Полезные ссылки

• MEV (Maximal Extractable Value): как устроен «скрытый налог» в Ethereum и почему боты его усиливают
• DAO: как устроено управление и какие риски возникают при автоматизации