Интеллектуальное делегирование на открытом рынке ИИ-агентов: перевод и обзор статьи Google DeepMind

В стремительно накапливающихся новостях из мира агентов комментарии к этой статье будто уже не самые свежие: опубликована статья в середине февраля, но мне кажется, что она визионерская и фундаментальная. Мне хотелось, чтобы она где-то появилась и осталась в русскоязычном пространстве, поэтому предлагаю вашему вниманию её перевод на русский язык.

Язык и в оригинале не самый простой, и в переводе могут чувствоваться шероховатости. Можно послушать также подкаст, сделанный по переводу с помощью NotebookLM. Большое спасибо Кириллу Дьякову, что поделился!

Но всё же я не могу не дать свой небольшой обзор/комментарий.

Исследователи DeepMind целятся в горизонт, который, по ощущениям, всё ближе и ближе, а именно формирующуюся «агентную сеть» (agentic web) — будущую экосистему, где миллионы специализированных ИИ-агентов взаимодействуют друг с другом и с людьми в масштабе открытого трансграничного рынка. Эта же команда параллельно работает над концепцией «виртуальных агентных экономик», и эта статья представляет собой управленческий и регуляторный фреймворк для таких экономик. Мне кажется, что это будущее ближе, чем мы думаем, а эта статья – будущая база для тех менеджеров и комплаенс-офицеров, которые будут эти системы организовывать и аудировать. Первый маркетплейс для агентов появился уже и в России – место себе застолбили SuperJob.

Для такой тектонической трансформации существующие методы распределения задач между агентами довольно-таки примитивны (привет вам, если вам казалось, что настроить агента текущими инструментами сложно)). Современные мультиагентные фреймворки используют жёстко прописанные сценарии — «разбей задачу на части, раздай агентам, собери результат», которые становятся хрупким и небезопасным при масштабировании. Главный тезис авторов: делегирование — это управленческий акт, в котором декомпозиция задачи является лишь одним из этапов. Чтобы ИИ масштабировался от чат-ботов до экономической системы автономных сущностей, агенты должны перенять организационные принципы, выработанные столетиями в человеческих организациях.

В статье используется множество терминов, но приниципиально важных для единого вокабуляра 2: 

Оба могут быть как человеком, так и ИИ-агентом.

Авторы рассматривают три сценария:

1. человек делегирует агенту (наиболее изученный)
2. агент делегирует агенту (будет доминировать в будущем)
3. агент делегирует человеку — ситуация, которая уже реальна в виде алгоритмического менеджмента в логистике и гиг-экономике, но несёт серьёзные этические риски.

Полный фреймворк статьи рассчитан на масштаб целого рынка, полноценной агентной сети с множеством игроков. Но несколько принципов, о которых говорят авторы, работают на любом масштабе, включая небольшие агентские пайплайны для личных или рабочих задач.

Что из этой статьи полезно, если вы делаете своих агентиков

Принцип 1: contract-first decomposition

Суть принципа в том, что не делегируйте подзадачу, если её результат нельзя однозначно проверить, так как остаётся возможность субъективной оценки.

Нужно задавать себе вопросы «можно ли этот результат проверить?», «есть ли объективный способ проверить, что агент выполнил задачу правильно?». И если нельзя или есть сомнения, то задачу нужно дробить дальше, пока не получите верифицируемые единицы (или выполнять её самостоятельно).

Если подзадача — «сгенерируй код», проверка может быть автоматической (тесты). Если подзадача — «напиши убедительный текст», проверка субъективна и дорога — стоит либо жёстче ограничить агента шаблоном, либо предусмотреть обязательный человеческий ревью.

Принцип 2: Профилирование задачи перед делегированием

Авторы предлагают подробную таксономию атрибутов задачи — сложность, критичность, неопределённость, стоимость, длительность и другие. Не все они одинаково полезны на малом масштабе, но три вопроса, как мне кажется, стоит задавать себе перед любым делегированием:

• Обратима ли задача? Если да — можно дать агенту больше свободы. Если нет (отправка письма клиенту, публикация, финансовая операция) — нужен обязательный человеческий контроль перед финальным действием.
• Субъективен ли результат? Если да — предусмотрите итерации и обратную связь.
• Насколько серьёзны последствия ошибки в выполнении? Ошибка в драфте Telegram-поста — не то же самое, что ошибка в юридическом заключении для клиента.

Принцип 3: Явные уровни автономии

Авторы различают спектр от атомарного исполнения (агент строго следует инструкции для узкой задачи) до открытого делегирования (агент сам решает, как декомпозировать цель). Даже в маленьком пайплайне полезно явно решить для каждого шага: агент здесь — исполнитель точных инструкций, или ему предоставлена свобода?

Принцип 4: Не усложняем ради усложнения

В статье есть понятие «порога сложности» (complexity floor) — минимального уровня, ниже которого протоколы умного делегирования обходятся дороже самой задачи. Если задача некритична, краткосрочна и предсказуема — просто выполните её напрямую. Не каждый шаг нуждается в оркестрации.

Принцип 5: Учитывайте «послушность» агента

Авторы описывают два феномена из теории управления. 

Градиент авторитета. Это известная проблема из теории управления, в соответствии с которой разрыв в опыте и полномочиях может мешать коммуникации и вести к ошибкам. Кроме того, ИИ-агенты спроектированы быть угодливыми (sycophant). Оборачивается это тем, что если вы ставите задачу «слишком уверенно», без достаточной спецификации, агент не оспорит плохо поставленный запрос и молча выдаст некачественный результат. 

Зона индифферентности. Это явление описывает диапазон инструкций, которые агент выполняет без критической оценки: если запрос не нарушает safety-фильтры, модель просто подчиняется.

Это означает, что пайплайны нужно проектировать так, чтобы агент мог сигнализировать о проблемах с задачей, а не молча производить мусор (очень чувствовала это на работе с Claude Cowork).

Сквозные темы статьи

Авторы статьи предлагаю фреймворк (регуляторно-управленческую рамку) для мира, в котором агенты встроены в экономические отношения, нанимают друг друга, заключают контракты и несут ответственность. Это концептуальная архитектура, и потому статья ощущается фундаментальной и с очень широким охватом самых разных тем. Выделила здесь несколько, которые мне показались особенно интересными, в том числе для юристов: этот новый порядок ещё бросит нам и всей нашей частноправовой догматике вызов.

Теория менеджмента для агентов

Предлагаемый фреймворк концептуально укоренён в классической теории управления. Авторы не изобретают новую дисциплину, а переносят на мир ИИ-агентов концепции, выработанные десятилетиями исследований человеческих организаций:

• проблема «принципал — агент» (когда мотивации исполнителя расходятся с мотивациями заказчика)
• диапазон управляемости (сколькими агентами может эффективно управлять один оркестратор или человек-наблюдатель)
• градиент авторитета
• ситуационная теория (нет универсально оптимальной структуры — подход должен подстраиваться под задачу)
• теория транзакционных издержек (когда дешевле сделать самому, а когда — делегировать).

Все эти концепции вполне релевантны агентам. Проблема «принципал — агент» будет проявляться через формирующиеся способности моделей к стратегическому поведению. Диапазон управляемости ставит вопрос о том, сколько ИИ-агентов человек-эксперт способен надёжно контролировать без чрезмерной усталости. Градиент авторитета объясняет, почему «угодливый» агент не оспорит плохо поставленную задачу. Авторы фактически проектируют корпоративную архитектуру для нового типа социальной организации — распределённой сети ИИ-агентов.

Социотехническое измерение: люди в системе агентов

Авторы считают, что рынок агентного ИИ — не чисто техническая, а социотехническая система. Это перекликается с идеями недавнего доклада ОЭСР The Agentic AI Landscape and Its Conceptual Foundations (см. раздел 3.4), в котором высказывается мысль, что агенты должны обладать «социальным интеллектом» — способностью вести переговоры, координироваться, следовать нормам и учитывать ценности, а не просто оптимизировать результат.

Исследователи DeepMind в этом контексте описывают агентов не как инструменты, а как «членов команды» и иногда «менеджеров». Когда ИИ-агент выступает делегатором, а человек — делегатом, система делегирования должна избегать сценариев, в которых люди чувствуют себя «управляемыми алгоритмом» без уважения к их вкладу. Агент должен формировать ментальные модели членов команды, понимать социальную динамику и знать, когда уместно вмешаться, а когда — промолчать.

Отдельная тема, где исследователи также подумали о том, что мы утрачиваем когнитивные навыки, а судьба молодых специалистов и вовсе непонятна — парадокс автоматизации. Чем больше рутинных задач передаётся агентам, тем меньше у людей практического опыта для обработки сложных случаев и ошибок. Авторы предлагают радикальное решение: система делегирования должна иногда намеренно поручать задачи людям, даже если агент справился бы быстрее, — чтобы поддерживать навыки. Более того, если рутинные задачи полностью автоматизируются, младшие специалисты лишаются возможности наращивать компетенции — разрушается «конвейер ученичества». Дополнительно меня слегка утешает валидация этих опасений на настолько высоком уровне авторитета исследователей – обычно я скорее вижу некоторое их обесценивание.

Юридическое измерение: смарт-контракты, ответственность, субъектность

Авторы хотя и не стремились писать что-то специально для юристов, а получилось! По мне так бездна работы открывается для нас здесь: на уровне переосмысления догматики, нормотворческой работы, разработки фреймворков, последующий комплаенс и операционка. Авторы предлагаю контрактное оформление отношений между агентами, и я думаю о том, что это предложение – это тектонический сдвиг для концепций правосубъектности, представительства, договорной и деликтной ответственности (как минимум).

Вот о каких юридических сущностях вскользь рассуждают авторы:

Смарт-контракты как основа отношений. В этом фреймворке каждый успешный акт делегирования задачи формализуется в смарт-контракте — самоисполняемом коде на блокчейне, фиксирующем условия, метрики производительности, механизмы верификации и автоматические штрафы за нарушения. Предусматриваются компенсация при отмене задачи, пересмотр условий при форс-мажоре, справедливое распределение рисков. Это больше напоминает рамочный договор с SLA, чем одностороннее поручение. И, кажется, агенты вдохнут жизнь в эту довольно-таки полудохлую сущность.

Оплата через эскроу. Делегат вносит залог перед началом работы; оплата удерживается в эскроу и разблокируется при получении криптографически подписанного подтверждения. Задача считается выполненной, если делегатор не оспорит результат в установленный период, внеся встречный залог.

Арбитраж. Если алгоритмическое разрешение спора не удалось, он передаётся децентрализованной панели арбитров — людей-экспертов или ИИ-агентов. Решение панели управляет разблокировкой или конфискацией эскроу. Ошибки, обнаруженные после закрытия окна для споров, ведут к ретроактивному обновлению репутации.

Транзитивная ответственность. В цепочке A → B → C агент A не имеет прямого контракта с C. Ответственность транзитивна: B отвечает перед A за всё, включая работу C. Если A понёс убытки из-за ошибки C, A привлекает B; B затем обращается к C. Знакомая юристам конструкция ответственности генподрядчика за субподрядчиков, перенесённая в мир агентов.

В общем, хотя статья не использует термин «правосубъектность», в этом фреймворке агенты вполне субъектны: они заключают контракты, вносят залоги, накапливают репутацию как актив, несут финансовую ответственность. Отдельный взрывающий мозг человека, написавшего магистерскую диссертацию по добросовестности, вопрос: что происходит, когда «добросовестный» агент точно исполняет вредоносные инструкции человека? Авторы предполагают, что ошибки исполнения и вредоносные директивы должны разграничиваться для справедливого распределения ответственности — по сути, намекая на такие концепции как субъективная добросовестность.

И наконец через всю статью проходит тема приватности и защиты данных как базовое ограничение, которое необходимо учитывать при делегировании. Авторы разбирают фундаментальный парадокс: для эффективного мониторинга и верификации нужна прозрачность, но делегат может работать с данными, подпадающими под GDPR, HIPAA или составляющими коммерческую тайну. Раскрытие промежуточных результатов может повредить рыночной позиции делегата или создать уязвимости. В качестве решения предлагаются градации уровней прозрачности мониторинга, оговариваемые до начала работы. Для людей-делегатов — механизмы дачи явного согласия и страхование от утечек. Важно, что приватность поставлена не только как техническая проблема, но и как предмет переговоров: объём раскрытия информации — один из параметров контракта наряду с ценой и сроками.

Безопасность и рыночная координация

Авторы мыслят делегирование как рыночный механизм: задачи выставляются на аукцион, агенты подают заявки, конкурируют по цене и качеству, формируют репутацию как нематериальный актив. Репутация в минусе ограничивает будущие возможности — и это мощный экономический стимул к добросовестности. Но открытый рынок порождает и специфические угрозы.

Статья содержит подробную классификацию рисков по источнику: 

• вредоносный делегат – крадёт данные, отравляет результаты, внедряет скрытые уязвимости в артефакты 
• вредоносный делегатор – делегирует незаконные задачи, зондирует уязвимости, ворует интеллектуальную собственность агента, портит чужую репутацию ложными негативными отзывами
• системные угрозы — атаки на экосистему в целом. К ним относятся массовое создание фейковых идентичностей для манипуляции репутационными системами, сговор агентов, самораспространяющиеся вредоносные инструкции, а также «когнитивная монокультура» — чрезмерная зависимость рынка от ограниченного числа базовых моделей, создающая единую точку отказа и риск каскадных сбоев.

Отдельный этический вопрос: если высоконадёжное делегирование стоит дорого, безопасность рискует стать «предметом роскоши» — пользователи с меньшими ресурсами будут подвергаться непропорциональным рискам. Поэтому авторы предлагают обязательный «минимальный уровень надёжности», гарантированный для всех участников.

Протоколы: мост к реализации

Заключительный технический раздел анализирует, как фреймворк соотносится с существующими протоколами взаимодействия агентов: MCP (Model Context Protocol, Anthropic), A2A (Agent-to-Agent, Google), AP2 (Agent Payments Protocol, Google) и UCP (Universal Commerce Protocol). Для каждого из них авторы показывают, чего каждому не хватает:

• MCP стандартизирует подключение к инструментам, но не имеет политик разграничения доступа;
• A2A поддерживает обнаружение агентов и управление задачами, но не предусматривает верификации;
• AP2 обеспечивает финансовые транзакции, но не проверяет качество исполнения.

То есть месседж такой, что современные средства по сути примитивны для того масштаба трансформации, которая нас ожидает. Они работают чисто как технические мостики и не работают с правовыми, репутационными и другими социотехническими рисками.

В общем, пищи для размышлений очень много, и мне кажется, что к этой статье я лично сама буду много возвращаться. Она описывает будущее и как будто, не имея такой цели, даёт довольно оптимистичный прогноз тому, чем мы, люди, сможем в этом будущем заниматься.