AutoGPT и автономные агенты: демо красивое, в проде — ничего
Текст написан с позиции июля 2023 года: так, как тема выглядела тогда, без технологий и событий, появившихся позже.
Есть особая категория технологий, которые невозможно обсуждать спокойно, потому что вокруг них уже стоит стена восторженных тредов. Летом 2023 года в эту категорию прочно вошли автономные агенты. AutoGPT, BabyAGI, бесконечные форки и обвязки поверх LangChain — всё это подаётся под одним и тем же лозунгом: дай машине цель, а дальше она сама. Сама нагуглит, сама разобьёт задачу на подзадачи, сама напишет код, сама задеплоит и сама же отчитается. Звучит как конец ручного труда. На демках это даже выглядит как конец ручного труда.
Я честно потратил пару недель на то, чтобы поверить в эту историю. Поставил AutoGPT, дал ему ключ от GPT-4, придумал десяток задач — от безобидных «собери список конкурентов» до «напиши и протестируй небольшой скрипт». И вывод у меня получился неприятный, но твёрдый. Дело не в том, что агенты «пока сыроваты» и через релиз-другой дозреют. Дело в том, что вся конструкция стоит на допущении, которого у текущих моделей просто нет: на способности держать длинную, связную цепочку рассуждений без человека в контуре. А раз этого допущения нет, то автономность в проде сейчас — это не инженерия, а маркетинговая фантазия поверх модели, которая на третьем шаге уже не помнит, зачем начинала.
Я специально хочу сразу убить ложную интригу. Это не текст в духе «AI — пузырь, расходимся». GPT-4 — мощный инструмент, и я им пользуюсь каждый день. Претензия не к модели. Претензия к жанру: красивое демо выдают за работающий продукт, а разницу между этими двумя вещами оплачиваете вы — временем, токенами и нервами. Давайте разберём, где именно эта конструкция ломается, и почему она ломается не случайно, а закономерно.
Что вообще обещает «автономный агент» в июле 2023
Давайте зафиксируем матчасть, чтобы не спорить о словах. Идея агента простая. Берём LLM (на практике — GPT-4 или GPT-3.5), оборачиваем её в цикл. На каждой итерации модель получает: исходную цель, накопленную «память» о предыдущих шагах и список доступных инструментов — поиск в интернете, запись в файл, запуск кода, обращение к векторной базе. Модель сама решает, какой инструмент дёрнуть, мы выполняем действие, результат скармливаем обратно, и так по кругу, пока агент не объявит цель достигнутой.
В этом и весь фокус. Модель сама себе ставит подзадачи. AutoGPT прямо генерирует список вроде «1. найти источники, 2. проанализировать, 3. сделать вывод», а потом пытается их выполнять. BabyAGI устроен ещё откровеннее — это task list, который сам себя дополняет: выполнил задачу, придумал на её основе новые, переупорядочил очередь по «важности». Концептуально красиво. На бумаге это похоже на то, как работает человек: декомпозиция, исполнение, рефлексия, корректировка плана.
И вот тут важно не перепутать причину и следствие. Похожесть на человеческое мышление — это не свойство системы. Это свойство prompt-обёртки, которую мы написали. Мы попросили модель разговаривать в формате «мысль → план → действие», и она послушно разговаривает в этом формате. Но за красивыми словами «Thoughts», «Reasoning», «Plan», «Criticism», которые AutoGPT печатает на каждом шаге, нет никакого внутреннего плана. Есть только текст, сгенерированный под наш шаблон. А это, как мы сейчас увидим, две очень разные вещи.
Почему всё разваливается на втором-третьем шаге
Самое честное наблюдение из практики: проблемы начинаются не там, где задача сложная, а там, где задача длинная. Одношаговый запрос GPT-4 тянет великолепно. «Напиши функцию сортировки», «суммируй этот текст», «исправь баг в этом сниппете» — пожалуйста, на уровне сильного джуна, иногда мидла. Но агент — это не один шаг. Агент — это десятки шагов, где выход каждого становится входом следующего. И вот здесь вылезает фундаментальная штука.
Модель не рассуждает в нашем человеческом смысле. Она предсказывает следующий токен на основе контекста. У неё нет устойчивого внутреннего состояния, которое переживало бы между вызовами. Всё «состояние» агента живёт в одном месте — в тексте, который мы каждый раз заново заталкиваем в контекстное окно. И вот тут включается жёсткая физика: окно конечно. У GPT-4 это 8k токенов в базовой версии, 32k в дорогой. Звучит много, пока вы не запустили цикл, где на каждом шаге дописывается «мысль», «план», результат поиска на полстраницы и кусок прошлой истории.
Что происходит дальше, предсказуемо до скуки:
- История переполняет окно. Агент начинает обрезать или сжимать старый контекст — и вместе с ним выкидывает исходную цель или важное промежуточное решение.
- Потеряв цель, модель честно продолжает генерировать «разумно выглядящий» следующий шаг. Только теперь он разумен относительно мусора, а не относительно задачи.
- Появляется зацикливание. Агент решает «надо поискать в интернете», ищет, не находит ничего нового, решает «надо поискать в интернете», ищет... Я лично смотрел, как AutoGPT шесть раз подряд «планировал» создать один и тот же файл.
- Ошибки накапливаются. Маленькая неточность на втором шаге становится фактом для третьего, который строит на ней вывод для четвёртого. К десятому шагу агент уверенно решает уже не вашу задачу.
Это не баг конкретной реализации AutoGPT, который пофиксят в следующем коммите. Это математика накопления ошибки в открытой петле без обратной связи от реальности. Если на каждом шаге вероятность остаться «на курсе» равна, скажем, 0.9 — что для творческой генерации даже оптимистично, — то через десять шагов у вас остаётся примерно треть. Через двадцать — около десяти процентов. Длинная автономная цепочка математически обречена скатываться в шум, и никакой prompt-инжиниринг этого не отменяет, потому что проблема не в формулировке, а в отсутствии надёжного контроля курса.
Не модель глупая, а контур разомкнут
Здесь важно быть точным, чтобы не свалиться в дешёвое «нейросети тупые». GPT-4 не тупая. На отдельном шаге она часто рассуждает лучше, чем уставший человек в пятницу вечером. Проблема в том, что у агента нет того, что есть у человека и чего нет у модели: укоренённости в реальности и устойчивой цели, которая не растворяется в контексте.
Когда программист пишет код, он постоянно сверяется с реальностью. Запустил — упало — посмотрел стектрейс — понял, что ошибся в предположении — вернулся и переделал. У него цель живёт не в «контекстном окне», а в голове и в задаче, к которой он может вернуться в любой момент. Агент же варится в собственном бульоне. Он генерирует текст, скармливает его инструменту, получает ответ и снова генерирует текст. Обратная связь от мира до него доходит, но он не умеет её правильно взвешивать. Один неудачный результат поиска для него ничем не отличается от удачного — это просто ещё один кусок текста в контексте.
Поэтому правильная формулировка не «модель не справляется с задачей», а «мы построили разомкнутый контур управления вокруг компонента, который для этого не предназначен». Агент — это попытка заставить генератор правдоподобного текста выполнять роль системы планирования и контроля. Это как посадить отличного синоптика за штурвал: на коротком прогнозе он молодец, но вести самолёт по его выводам двадцать минут подряд — плохая идея. Не потому что синоптик плохой, а потому что задача другая.
Tool use — это разговорный жанр, а не контракт
Отдельная боль — то, как агент пользуется инструментами. В демках это выглядит магически: модель «решает» вызвать поиск, аккуратно форматирует запрос, получает ответ. В проде же выясняется, что вызов инструмента — это всё тот же сгенерированный текст, который мы потом парсим регуляркой или JSON-парсером и молимся, чтобы модель не выдумала лишнюю запятую.
Сейчас, в июле 2023, механизм function calling уже есть — OpenAI выкатила его 13 июня. Но важно не перепутать: это не жёсткая гарантия формата, а та же договорённость, просто переехавшая из нашего промпта в API. Под капотом модель всё равно генерирует текст, который описывает вызов, и этот текст по-прежнему может разъехаться. На практике мы либо опираемся на новый functions-интерфейс, либо по старинке просим «отвечай строго в формате JSON с полями tool иargs» — и модель обычно слушается. Обычно. А потом на двадцатом шаге она вставляет в JSON комментарий, или оборачивает его в markdown-блок, или решает, что сегодня поле называетсяarguments, и весь ваш парсер разваливается. Каждый, кто писал обвязку вокруг агента, знает этот зоопарк защитного кода: retry, повторный промпт «ты сломал формат, исправься», эвристики на любой случай.
Это снова не претензия к модели и даже не к LangChain, которым сейчас обвязывают всё подряд. Это констатация уровня зрелости стека. У нас нет твёрдого контракта между «намерением модели» и «действием системы». Есть текстовый интерфейс, который мы героически приколачиваем к строго типизированному миру кода. Для одного-двух вызовов это терпимо. Для автономной цепочки из тридцати вызовов это источник постоянных, трудноуловимых сбоев, каждый из которых стоит вам токенов на retry.
Сначала кажется, что вы делегировали работу. Потом приходит счёт за API
Любой разговор об автономных агентах надо заземлять в стоимость, потому что именно там быстро тает романтика. GPT-4 — недешёвая модель. Каждый шаг агента — это не один запрос, а запрос с полным накопленным контекстом. Чем дольше работает агент, тем толще контекст, тем дороже каждая следующая итерация. Расход токенов в автономном цикле растёт не линейно, а ближе к квадратичному, потому что вы раз за разом пересылаете всё разрастающуюся историю.
На практике это выглядит так. Вы запускаете агента на задачу, которую сами решили бы за двадцать минут. Агент крутится полчаса, делает четырнадцать шагов, шесть из которых — это бессмысленное хождение по кругу, сжигает заметную сумму на API — и выдаёт результат, который надо проверять и переделывать. То есть вы заплатили деньгами за токены и временем за наблюдение и разгребание, чтобы получить то, что быстрее сделали бы руками. Это не экономия. Это плата за иллюзию делегирования.
И вот здесь главная подмена жанра. Демо показывает лучший прогон из двадцати — тот единственный, где звёзды сошлись и агент дошёл до финала. Вам не показывают девятнадцать прогонов, где он завис, потерял цель, удалил не тот файл или с серьёзным видом «выполнил» задачу, которую сам же исказил. Прод — это не лучший прогон. Прод — это средний прогон, который должен работать каждый раз. А средний прогон автономного агента сегодня — это, простите, ничего. Красивое, дорогое, многословное ничего.
Бесполезен не агент, а нарратив «дай цель и забудь»
Теперь обязательная часть, без которой текст был бы враньём в другую сторону. Было бы глупо заявить, что вся эта волна вокруг агентов бесполезна. Бесполезен конкретный нарратив про «дай цель и забудь». А вот несколько вещей из этой волны вполне реальны и останутся.
Во-первых, сама идея давать модели инструменты — здравая. LLM, которая может сходить в поиск или посчитать что-то кодом вместо того, чтобы галлюцинировать ответ, объективно полезнее. Просто это работает на коротком поводке: один-два контролируемых вызова под присмотром человека, а не тридцать автономных. Во-вторых, декомпозиция задачи через модель — рабочий приём. Попросить GPT-4 разбить большую задачу на шаги и показать вам план — отлично. Дальше план исполняете вы или исполняет узкий, проверяемый скрипт, а не сам же агент вслепую.
В-третьих, и это, может, самое ценное: все эти эксперименты двигают экосистему. Люди прямо сейчас, набивая шишки на AutoGPT и BabyAGI, нащупывают, чего не хватает. Не хватает большего контекстного окна, надёжного структурированного вывода, дешевле и быстрее работающих моделей, и — главное — какого-то механизма устойчивого рассуждения, которого у нынешних LLM просто нет. Сегодняшние агенты — это не работающий продукт, а полевое исследование границ. И как исследование они полезны. Как прод-решение — нет.
Чего нельзя отдавать агенту, пока он рулит вслепую
Чтобы не быть голословным, очертим границу совсем конкретно. Не отдавайте автономному агенту ничего, где ошибка стоит дорого и необратима. Никаких «сам задеплой», «сам поправь прод», «сам разошли письма», «сам сделай транзакцию». Агент, который может запускать произвольный код или дёргать боевые API без человека в контуре, — это не помощник, это генератор инцидентов с непредсказуемым расписанием.
Не стройте на агентах бизнес-процессы, которые должны давать стабильный результат каждый раз. Если задача требует надёжности, вам нужна детерминированная программа, а не вероятностный цикл, который в среднем сбоит. И не путайте «впечатлило на демо» с «можно показать клиенту». Между этими состояниями лежит пропасть из retry-логики, обработки галлюцинаций, контроля стоимости и человеческого надзора, и эту пропасть вам никто не засыпал.
Дело не в «когда-нибудь», а в «не сейчас и не так»
Если свести всё в одну мысль, она будет такой. Автономные агенты образца лета 2023 — это не ранняя версия будущего рабочего инструмента, а демонстрация того, чего у текущих моделей пока нет. Красивое демо держится на коротком, удачном прогоне и на нашем желании поверить. Прод требует противоположного: стабильности, предсказуемости, контролируемой цены и понятной границы ответственности. Ни одного из этих свойств у AutoGPT и его родни сегодня нет, и не потому, что авторы плохо постарались, а потому, что под ними лежит модель, которая блестяще делает один шаг и разваливается на длинной дистанции.
Поэтому моя позиция не «агенты — чушь, забудьте», и не «ещё чуть-чуть, и они всё сделают сами». Моя позиция: пользуйтесь моделью на коротком поводке, держите человека в контуре и не платите токенами и часами за иллюзию автономности — настоящая автономность придёт не из обёртки вокруг сегодняшней модели, а из моделей, которые научатся надёжно держать длинную цепочку рассуждений, а их пока нет.
Когда такие модели появятся — а они, скорее всего, появятся, — разговор об автономности станет предметным, и сегодняшний скепсис можно будет пересмотреть. Но взрослая инженерная позиция в июле 2023 — это не верить демкам, а считать стоимость, мерить средний прогон и не пускать вероятностный текстовый генератор рулить ничем важным без присмотра. Хайп пройдёт, а счета за API и разгребание последствий останутся с тем, кто поверил раньше времени.