Computer use: AI кликает мышкой. В демо — магия, в проде — на коротком поводке
Текст написан с позиции ноября 2024 года: так, как тема выглядела тогда, без технологий и событий, появившихся позже.
Бывают анонсы, после которых хочется одновременно сказать «ого» и «и что дальше». В конце октября Anthropic показала так называемый computer use — режим, в котором модель управляет компьютером не через специальный API, а так же, как это делает человек: смотрит на скриншот экрана, двигает курсор к нужной точке, кликает, печатает текст, заполняет поля формы, переключает вкладки. Это beta-возможность для Claude 3.5 Sonnet, и первые демо действительно выглядят как маленькое чудо: модель открывает браузер, ищет данные, переносит их в таблицу, и все это без единой строчки кастомной интеграции под конкретный сайт.
Первая реакция честная — это впечатляет. До сих пор почти все полезное, что умела модель, жило внутри текстового окна. Она отвечала, рассуждала, писала код, но дальше границы чата ничего не происходило. Computer use — это попытка вывести модель из текста в реальный интерфейс. И сам факт, что модель может посмотреть на пиксели и сказать «вот сюда надо кликнуть», ощущается как смена класса задач, а не как очередная надстройка над чатом.
Но именно поэтому стоит сразу притормозить. Главная мысль этой заметки простая и, надеюсь, не слишком занудная: computer use — это качественно новый класс возможностей и при этом качественно новый класс рисков. Та же самая модель, которая иногда уверенно галлюцинирует несуществующий метод в коде, теперь с тем же уверенным видом может нажать не ту кнопку. Только цена ошибки уже не «компилятор ругнулся», а «действие выполнено в реальной системе».
Поэтому зафиксируем рамку с самого начала. Речь не о том, хорош computer use или плох. Речь о том, что в демо и в проде это две очень разные вещи, и спутать их сейчас — самая дорогая ошибка, которую можно совершить.
Что именно показала Anthropic и почему это не «еще один агент»
Технически идея описывается коротко. Модели дают доступ к скриншоту экрана, и она возвращает действия: переместить курсор в координаты, кликнуть, нажать клавишу, ввести строку. Затем делается новый скриншот, и цикл повторяется. То есть модель работает в петле «увидел экран → решил, что делать → сделал → увидел результат». Anthropic честно называет это experimental и предупреждает, что возможность пока не идеальна и местами медленная и ненадежная.
Важно не перепутать computer use с привычной автоматизацией. Обычные скрипты автоматизации интерфейса работают по заранее описанному сценарию: селекторы, координаты, ожидания. Они хрупкие, но предсказуемые. Computer use устроен наоборот: он гибкий, но непредсказуемый. Модель не следует жесткому скрипту, она каждый раз заново интерпретирует то, что видит на экране, и сама решает, какое действие приблизит ее к цели. Это и есть тот самый сдвиг — не «выполни мой сценарий», а «разберись с этим интерфейсом сам».
Отсюда и ощущение магии в демках. Когда модель открывает незнакомый сайт и сама догадывается, куда вписать поисковый запрос, это выглядит совсем не как автоматизация по селекторам. Это выглядит как существо, которое впервые село за чужой компьютер и потихоньку разбирается. И вот именно эта аналогия одновременно объясняет и восторг, и тревогу.
Демо честно показывает потолок возможностей, а не пол надежности
Любая демонстрация показывает лучший день технологии, а не худший. Это не упрек Anthropic — так устроен жанр демо в принципе. Но инженеру важно держать в голове разницу. В демо мы видим, на что система способна в удачном прогоне на подобранном сценарии. В проде нас интересует совсем другое: что система делает в неудачном прогоне на сценарии, который никто заранее не подбирал.
Для текстовой модели эта разница уже хорошо знакома всем, кто работал с ней всерьез. Модель красиво пишет функцию в демо и так же красиво выдумывает несуществующий параметр библиотеки в реальной задаче. Мы научились с этим жить: читаем то, что она написала, прогоняем тесты, не доверяем слепо. Цена галлюцинации в тексте обычно невысокая, потому что между предложением модели и реальным эффектом стоит человек, который читает и проверяет.
Computer use убирает этот зазор. Между решением модели и эффектом теперь нет обязательного человека — есть сразу клик. И вот здесь привычная нам цена галлюцинации меняется радикально. Не потому что модель стала ошибаться чаще, а потому что каждая ошибка теперь сразу превращается в действие. Это не про сеть, не про скорость и не про красоту интерфейса. Это про момент, в который намерение модели становится необратимым фактом.
Цена ошибки взлетает именно потому, что исчезает текстовый буфер
Стоит проговорить совсем конкретно, что меняется. Когда модель пишет код, неправильный токен — это строка, которую можно не запускать. Когда модель управляет мышкой, неправильный токен — это координаты клика. А клик уже не отменишь силой воли. Если под курсором оказалась кнопка «Удалить» вместо «Сохранить», действие произошло.
Перечислю, где это особенно больно, чтобы не звучало абстрактно:
- Любые операции с деньгами и платежами — здесь даже один ошибочный клик имеет последствия.
- Отправка писем и сообщений — отозвать отправленное практически невозможно.
- Удаление и перезапись данных — особенно там, где нет нормального undo и истории версий.
- Подтверждение диалогов вроде «вы уверены?» — модель вполне может уверенно нажать «да» там, где человек бы задумался.
- Любые действия в production-системах, где интерфейс выглядит дружелюбно, но за кнопкой стоит необратимая операция.
Объединяет все эти пункты одно свойство — необратимость. И главный практический водораздел проходит не между «важной» и «неважной» задачей, а между обратимым и необратимым действием. Это разделение полезно держать в голове как первый фильтр для любой мысли о computer use.
Самая вредная реакция — посмотреть демо и решить, что эпоха ручной работы закончилась
После таких анонсов часто звучит вывод в духе «ну все, теперь AI сам будет работать за компьютером, а нам останется только ставить задачи». Это и есть та реакция, от которой хочется аккуратно предостеречь. Не потому что в ней нет правды, а потому что она путает направление с прибытием.
Computer use — это сигнал направления. Он показывает, куда движется индустрия: к моделям, которые действуют, а не только говорят. Но между «технология показала, что так в принципе можно» и «технологию можно поставить в рабочий процесс без присмотра» лежит большая дистанция. Сама Anthropic не зря держит это в статусе беты и прямо говорит про ненадежность. Это не скромность маркетинга, это честное описание зрелости.
Поэтому правильная формулировка не «AI теперь умеет работать за компьютером», а «AI начал учиться работать за компьютером, и мы наблюдаем самые первые шаги». Разница между этими двумя фразами — это разница между трезвым ожиданием и разочарованием через полгода.
Три условия, без которых я бы не подпускал модель к интерфейсу
Если все же хочется не просто смотреть демки, а потрогать computer use руками, есть три условия, без которых соваться в это не стоит. Они не про осторожность ради осторожности — они прямо вытекают из того, что мы обсудили выше.
Первое — изоляция. Модель должна действовать в песочнице: отдельная виртуальная машина или контейнер, отдельные учетные данные, минимально необходимые права, никакого прямого доступа к настоящим деньгам, почте и production-данным. Не потому что модель злонамеренна, а потому что она ошибается уверенно, и стоимость уверенной ошибки нужно ограничить заранее, а не разбираться с ней постфактум.
Второе — обратимость. Если действие нельзя откатить, его нельзя отдавать модели без явного человеческого подтверждения на каждый такой шаг. Это и есть тот самый короткий поводок из заголовка. Не «доверяй и проверяй», а «доверяй ровно настолько, насколько дешево исправить последствия». Обратимые операции — заполнить черновик, собрать данные в таблицу, разметить, отсортировать — это естественная зона для первых экспериментов. Необратимые — нет.
Третье — наблюдаемость. За моделью нужно смотреть: логировать каждый клик, каждый ввод, делать скриншоты на каждом шаге, иметь возможность остановить процесс в любой момент. Computer use не про «дать задачу и уйти пить кофе». На текущем уровне зрелости это про «дать задачу и сидеть рядом, держа руку на кнопке стоп».
Почему это превью будущего, а не инструмент на сегодня
Полезно отделить два вопроса, которые легко слипаются. Первый: интересно ли это и важно ли? Безусловно да. Второй: стоит ли встраивать это в рабочий процесс прямо сейчас, без оговорок? Почти наверняка нет. И в том, что эти ответы расходятся, нет противоречия. Так выглядит нормальная ранняя стадия любой по-настоящему новой технологии.
Есть несколько причин, по которым computer use пока ближе к превью, чем к инструменту. Модель медленнее, чем хотелось бы для реальной работы. Она ошибается на длинных последовательностях действий, где каждая новая ошибка наслаивается на предыдущую. Она интерпретирует экран заново на каждом шаге, а значит, подвержена сбоям там, где интерфейс ведет себя неожиданно. И, что важно, надежность здесь не складывается линейно: цепочка из двадцати верных действий рушится одним неверным двадцать первым.
Это не значит, что технология бесполезна. Это значит, что ее ценность сегодня — в исследовании и подготовке, а не в боевой эксплуатации. Сейчас разумно смотреть, экспериментировать в песочнице, понимать, на каких классах задач модель ведет себя терпимо, а на каких разваливается. Это инвестиция в понимание, а не в немедленную автоматизацию.
Где computer use уже сейчас выглядит уместно
Чтобы заметка не превратилась в одно сплошное предостережение, проговорим и обратную сторону. Есть задачи, где даже текущая бета может быть полезной — при соблюдении всех трех условий выше. Объединяет их то, что цена ошибки там низкая, а результат легко проверить.
- Исследовательские прогоны: собрать данные с нескольких страниц в черновую таблицу, которую потом все равно проверит человек.
- Рутинная навигация по интерфейсам в изолированной среде, где нечего сломать необратимо.
- Прототипирование сценариев автоматизации: посмотреть, справится ли модель в принципе, прежде чем вкладываться в нормальную интеграцию через API.
- Тестирование собственных интерфейсов: модель как непредсказуемый пользователь, который кликает не туда и помогает найти узкие места UX.
Обратите внимание на закономерность: во всех этих сценариях computer use ценен не как замена человека, а как генератор первого приближения, которое человек потом доводит до ума. Это не упрощение работы до нуля, а перенос точки приложения усилий — от выполнения к проверке.
Что это говорит про взросление в отношениях с моделью
Если отойти на шаг, computer use хорошо иллюстрирует общий паттерн в работе с AI. Каждый новый виток возможностей не отменяет инженерную дисциплину, а делает ее важнее. Чем больше модель умеет, тем существеннее вопрос «а где у этого граница и сколько стоит ошибка». Возможность действовать в интерфейсе — это не повод отпустить контроль, а повод выстроить его аккуратнее.
Здесь полезна та же оптика, что и в любой долгоживущей системе. Мы не спрашиваем «насколько это впечатляюще». Мы спрашиваем «как это поведет себя в плохой день, кто отвечает за последствия и можно ли их откатить». Демо отвечает на первый вопрос. На второй и третий приходится отвечать самим, и пока что ответы у computer use не готовы.
В этом нет ни отрицания, ни разочарования. Скорее наоборот — спокойный интерес. Хорошо, что модели учатся действовать, а не только говорить. Просто на стадии первых шагов взрослая реакция — это не «дать ей ключи от прода», а «дать ей песочницу и внимательно посмотреть, как она в ней себя ведет».
Магия в демо, поводок в проде — и это нормально для ноября 2024-го
Computer use — это честно интересный анонс и честно ранняя технология одновременно. В демо она выглядит как магия: модель смотрит на экран, двигает курсор, кликает и заполняет формы без всякой кастомной интеграции. В реальной работе все упирается в то, что та же самая уверенность, с которой модель иногда галлюцинирует, теперь может вылиться в уверенный клик не туда, а кликнутое назад не заберешь.
Поэтому разумная позиция на сегодня — не восторг и не отмахивание, а короткий поводок. Песочница вместо прода. Обратимые операции вместо необратимых. Наблюдение вместо доверия по умолчанию. Это не способ принизить технологию, а способ дать ей вырасти, не заплатив за рост чужими деньгами, удаленными данными и отправленными по ошибке письмами.
Computer use — это превью будущего, а не инструмент на сегодня: в демо это магия, но в проде его место — на коротком поводке, в песочнице, на обратимых операциях и под наблюдением, потому что цена ошибки выросла ровно настолько, насколько исчез человек между решением модели и кликом.