GPT-4 умнее, но мой проект он всё равно не понимает
Текст написан с позиции мая 2023 года: так, как тема выглядела тогда, без технологий и событий, появившихся позже.
Признаю сразу, чтобы не выглядеть очередным брюзгой, который на любую новинку реагирует фырканьем: GPT-4 действительно лучше. Заметно лучше. Я пользовался GPT-3.5 ровно столько, чтобы устать от его манеры уверенно сочинять чушь, и переход на GPT-4 через ChatGPT Plus в первые дни ощущался почти как обновление железа. Он связнее рассуждает. Он реже несет откровенную дичь. Он держит логику внутри длинного объяснения, а не разваливается на третьем абзаце. Если попросить разобрать незнакомый кусок алгоритма или объяснить, почему конкретная регулярка не матчит то, что ты ждешь, ответ обычно по делу.
И вот ровно после этой похвалы начинается то, ради чего я сел писать. Потому что весь последний месяц я честно пытался встроить GPT-4 в реальную работу над живым проектом, а не в игрушечные демки из твиттера. И вывод получился неудобный: проблема не в том, что модель тупая — наоборот, она стала умнее, — а в том, что она не видит мой проект, работает в вакууме из восьми тысяч токенов и с ходу выдумывает API, которых у меня нет; и пока это так, на серьезной кодовой базе она остается помощником уровня «погуглить быстрее», а не инженером, который понимает систему.
Сформулирую точнее. Не «GPT-4 не справляется с кодом» — справляется, и местами впечатляюще. А «GPT-4 не знает, в каком коде он находится». Разница огромная, и именно ее старательно замазывает текущий хайп. Я хочу разобрать ее предметно: где конкретно все разваливается, почему это вопрос контекста, а не интеллекта, и что из этого следует для тех, кто пишет не туториалы, а продукт, живущий третий год.
Восемь тысяч токенов — это не «много контекста», это форточка
Начнем с цифры, которую все обходят стороной. У GPT-4 в массовом доступе контекстное окно — около восьми тысяч токенов. Есть версия на тридцать два, но она дорогая, выдается по очереди и в реальной ежедневной работе ее почти ни у кого нет под рукой. Так что давайте по-честному: рабочий потолок — это восемь тысяч токенов на весь диалог. На вопрос, на код, который ты вставил, и на ответ модели вместе взятые.
Восемь тысяч токенов — это примерно несколько сотен строк кода с комментариями. Один средний файл. Не модуль, не фича, а файл. Теперь посмотрите на свой проект. У меня в текущем — сотни файлов, общие типы, разъехавшиеся по десятку директорий, слой транспорта, который завязан на конкретный формат сообщений, стейт-менеджмент со своими договоренностями и пачка утилит, про которые знает половина команды и не знает другая. Связи между этими кусками и есть проект. А в форточку на восемь тысяч токенов пролезает один кусок без связей.
Поэтому когда я слышу бодрое «просто дай ему контекст», мне хочется спросить: какой именно? Я физически не могу засунуть в окно кодовую базу. Я выбираю, что вставить, руками. И в момент, когда я выбираю руками, что показать модели, я уже сделал девяносто процентов умственной работы — потому что чтобы выбрать правильные пять файлов из трехсот, надо уже понимать, как баг связан с системой. Модель не экономит мне этот шаг. Она вступает в игру после него.
Он вызывает метод, которого у меня нет
Самое раздражающее — это выдуманные методы. Я прошу GPT-4 написать обработчик, который дергает наш внутренний сервис. Он выдает чистый, красивый, отлично отформатированный код, в котором вызываетclient.fetchUserProfile(id) с понятной сигнатурой и обработкой ошибок. Выглядит как продакшен. Проблема одна: метода fetchUserProfile у нашего клиента не существует. Никогда не существовало. Модель его придумала, потому что по названию сервиса такой метод логично было бы иметь.
И это не разовый сбой, это системное поведение. Модель не знает форму моего API, поэтому достраивает ее из статистики — из миллионов чужих проектов, на которых ее учили. Она генерирует не «правильный код для моей системы», а «наиболее вероятный код для абстрактной системы, похожей на мою». В девяти случаях из десяти это близко, но не точно. А в инженерии «близко, но не точно» — это и есть самый дорогой класс багов. Откровенную ошибку видно сразу. А правдоподобный вызов несуществующего метода ты ловишь уже на рантайме, иногда после ревью, иногда после деплоя, потому что глаз скользит по красивому коду и не спотыкается.
Вот честная цена, про которую молчат восторженные треды: модель перекладывает работу с написания кода на верификацию чужого кода. А верификация правдоподобного, но возможно неверного кода — это часто дольше и тяжелее, чем написать самому. Особенно когда генератор уверен в себе. GPT-4, в отличие от предшественника, ошибается реже, но зато увереннее и убедительнее. И это не однозначное улучшение для того, кто отвечает за то, что попадет в репозиторий.
Модель отвечает на вопрос, а не решает задачу
Есть еще одно расхождение, которое долго не мог сформулировать. GPT-4 прекрасно отвечает на вопросы. Но инженерная работа на живом проекте — это редко вопрос. Это почти всегда решение задачи в контексте ограничений, о которых нигде не написано. «Почему этот компонент перерисовывается лишний раз» — это не вопрос про React, это вопрос про то, как именно у нас устроены селекторы, какие договоренности мы приняли полгода назад и почему вот тут мы сознательно отступили от красивого варианта ради производительности на слабых устройствах.
Ничего из этого не лежит в модели. Эти знания не в коде даже — они в головах, в старых обсуждениях, в причинах, по которым код написан именно так. GPT-4 видит фрагмент текста и рассуждает о нем в общем случае. Он не знает истории решений. Он не знает, что вот этот «костыль» — это не невежество автора, а компромисс с конкретным внешним сервисом, который ведет себя не по документации. Поэтому совет модели почти всегда звучит как совет грамотного человека, который зашел в проект пять минут назад: технически верно, контекстуально мимо.
И тут важно не свалиться в другую крайность. Я не говорю, что грамотный человек, зашедший на пять минут, бесполезен. Иногда свежий взгляд ровно то, что нужно. Но называть это «AI понимает мой код» — передергивание. Он не понимает код. Он понимает код вообще, на огромной выборке, и проецирует это понимание на показанный ему обрывок. Между «понимает код вообще» и «понимает этот код» лежит вся специфика, ради которой нас, собственно, и держат.
Где он реально полезен — и это немало
Чтобы меня не записали в луддиты: я не выключил ChatGPT и не собираюсь. Я просто перестал ждать от него того, чего он дать не может, и стал использовать там, где он действительно экономит время. И таких мест хватает.
- Локальные, самодостаточные куски без контекста проекта: распарсить строку, написать функцию форматирования даты, накидать регулярку, перевести логику с одного синтаксиса на другой. Тут окна в восемь тысяч токенов хватает с запасом, потому что задача целиком влезает в вопрос.
- Объяснение незнакомого. Чужая библиотека, странный кусок легаси, непонятный stack trace — GPT-4 отлично работает как очень терпеливый старший коллега, которому не стыдно задать глупый вопрос в третий раз.
- Бойлерплейт и рутина: однотипные тесты, заглушки, шаблонные конфиги, переименования по понятному правилу. Скучная механическая работа, где ошибка дешевая и сразу заметная.
- Резиновая утка, которая отвечает. Сформулировать проблему вслух модели — половина дела, и иногда ответ даже не нужен, помогает само формулирование.
Заметили общее во всех пунктах? Контекст задачи целиком помещается в окно. Как только задача перестает помещаться — а на реальном проекте она почти никогда не помещается, — польза резко падает. Это не про сеть, не про железо и не про размер модели. Это про границу контекста. И эту границу не лечат промптом.
Промпт улучшает ответ, но не расширяет окно
Отдельно про то, что сейчас творится вокруг «промпт-инжиниринга». Я уважаю, что хорошо сформулированный запрос дает результат лучше, чем «напиши код». Это правда. Но текущий хайп раздул это до уровня тайного искусства, будто есть волшебная формулировка, после которой модель начнет понимать твой проект. Не начнет. Никакой промпт не добавит в восьмитысячное окно то, что туда не влезает физически. Можно вылизать формулировку до блеска — модель все равно не узнает про твой client того, чего ты ей не показал, и достроит недостающее из статистики.
Промпт улучшает то, что модель и так может сделать в пределах данного ей контекста. Он не расширяет сам контекст. Путать эти две вещи — главная иллюзия весны 2023-го. Хороший промпт — это не магия, это просто внятная постановка задачи, и удивляться, что внятная постановка дает лучший результат, странно: это работало и с живыми людьми задолго до всякого GPT.
А что, если модель будет ставить задачи себе сама?
Не могу обойти то, что сейчас гремит сильнее всего, — все эти AutoGPT и BabyAGI, которые обещают, что модель сама поставит себе подзадачи, сама их выполнит и сама себя проверит в цикле. Я честно поигрался. Выглядит завораживающе ровно до момента, когда даешь им что-то приближенное к реальной задаче.
Дальше начинается то же самое, только хуже, потому что ошибки теперь накапливаются. Агент не видит проект целиком по той же причине — окно конечно. Он галлюцинирует промежуточный шаг, строит на нем следующий, и через пять итераций уверенно решает задачу, которую сам себе придумал, а не ту, что я поставил. Каждый прогон съедает токены и деньги, а на выходе — гора правдоподобного текста, который надо разбирать руками. Это интересные демки и хороший знак, куда все движется. Но называть это рабочим инструментом для продакшена в мае 2023-го — это выдавать желаемое за действительное. Игрушка, которая громко шумит.
Четыре стены, в которые он упирается
Соберу цену подхода в одном месте, потому что без этого получится та же однобокая агитация, только с обратным знаком. GPT-4 — мощный инструмент, и отказываться от него глупо. Но у него есть жесткие границы, которые в мае 2023-го никуда не денутся:
- Контекст конечен и мал. Восемь тысяч токенов — это файл, а не проект. Тридцать две тысячи дороги и почти недоступны. Кодовую базу в модель не загрузить.
- Галлюцинации API — не баг, а следствие архитектуры. Модель достраивает недостающее из статистики, и делает это убедительно.
- Стоимость смещается с написания на верификацию. Иногда это выгодно, иногда проверять чужой код дольше, чем написать свой.
- Знания о проекте — история решений, компромиссы, договоренности — в модель не попадают в принципе. Она их не видит.
Все это не делает GPT-4 бесполезным. Это делает его инструментом с понятной зоной применения. И взрослая реакция на него — не восторг и не презрение, а трезвое знание, где он экономит твое время, а где незаметно его крадет.
Стажер, пришедший вчера
Если коротко: я отношусь к GPT-4 как к очень быстрому и очень начитанному стажеру, который пришел вчера. Он отлично делает локальные задачи, прекрасно объясняет незнакомое и здорово ускоряет рутину. Но он не знает наш проект, регулярно выдумывает то, чего нет, и каждое его предложение надо проверять — потому что он уверен, даже когда ошибается. Доверять ему архитектурные решения или сложный баг в живой системе сейчас нельзя, и дело не в его уме.
Поэтому главный практический вывод я сформулирую совсем прямо. Дело не в интеллекте модели, а в контексте: пока я не могу дать GPT-4 увидеть мой проект целиком, он остается ускорителем отдельных шагов, а не понимающим систему инженером — и относиться к нему надо именно так, иначе он не сэкономит время, а добавит работы по разгребанию правдоподобных ошибок.
Будет ли иначе? Возможно. Окно контекста наверняка вырастет, способы скармливать модели реальный код появятся, и тогда разговор станет другим. Но это будущее, а я пишу из мая 2023-го. Сегодня GPT-4 умнее своего предшественника — и при этом мой проект он по-прежнему не понимает. Обе эти вещи правда одновременно, и держать их в голове стоит вместе, не выбирая удобную половину.