ChatGPT написал мне функцию. Она не работает

•
Опубликовано
•
11 мин чтения

Текст написан с позиции марта 2023 года: так, как тема выглядела тогда, без технологий и событий, появившихся позже.

Последние месяцы лента превратилась в один сплошной восторг. ChatGPT вышел в конце ноября, к январю о нём написали все, кто умеет писать, и теперь каждый второй пост в твиттере объясняет мне, что профессия разработчика закончилась. Код теперь пишет машина, людям остаётся только «направлять», джуны не нужны, синьоры скоро тоже, а через год мы все будем диктовать голосом, и приложение само себя соберёт. Я читаю это и ловлю знакомое раздражение, потому что между демкой в твите и моим рабочим репозиторием лежит пропасть, в которую почему-то никто не хочет заглядывать.

Поэтому я сделал скучную вещь. Вместо того чтобы спорить в комментариях, я открыл боевой проект и честно попробовал прогнать через ChatGPT несколько реальных задач. Не «напиши мне сортировку пузырьком», не fizzbuzz, не todo-лист из туториала, а то, чем я реально занимался на той неделе: функцию, которая разбирает наш внутренний формат конфигов, нормализует пару полей и аккуратно падает на битых входах. Задача не героическая, такие я пишу пачками. Мне было интересно ровно одно: насколько близко машина подойдёт к чему-то, что можно закоммитить без стыда.

Короткий ответ: близко по форме и далеко по сути. Я получил красиво отформатированную, уверенную, складно прокомментированную функцию, которая выглядела абсолютно правдоподобно ровно до того момента, пока я её не запустил. Проблема не в том, что ChatGPT глупый. Проблема в том, что он генерирует вероятный текст, а не правильный код, и на незнакомом ему проекте это превращается в генератор уверенных багов.

Как именно она не заработала

Начну с конкретики, потому что без неё разговор скатывается во вкусовщину. Я описал задачу словами: на входе строка нашего конфигурационного формата, на выходе объект с разобранными полями, неизвестные ключи игнорируем, на двух обязательных полях при их отсутствии кидаем понятную ошибку. ChatGPT выдал функцию строк на тридцать, с регуляркой, с аккуратным try/catch, с комментариями в стиле «here we parse each line and validate required fields». Выглядело это как код, который написал спокойный и опытный человек.

Запускаю на реальном файле — и оно разваливается. Регулярка не учитывала, что у нас значения могут содержать двоеточие внутри (у нас там встречаются URL), поэтому половина строк парсилась криво. Поле, которое я просил считать обязательным, проверялось через if (!value), а у нас валидное значение этого поля бывает 0 и пустая строка — то есть проверка отбрасывала корректные данные. И вишенка: функция молча возвращала undefined в одной из веток вместо того, чтобы бросить ошибку, как я явно просил. То есть три бага в тридцати строках, и все три — не синтаксические. Код компилируется, код запускается, код выглядит как код. Он просто делает не то.

Я повозился ещё. Скормил ему сообщение об ошибке, он бодро извинился, переписал кусок — и сломал другой. Указал на проблему с двоеточиями — он починил регулярку, но заодно потерял обработку пустых строк. Это и есть та самая ловушка, о которой почти не пишут в восторженных тредах: правки не сходятся к правильному решению, они блуждают вокруг него. Каждая итерация локально правдоподобна, а общая картина не улучшается, потому что машина не держит в голове инвариант «функция должна быть корректной», она держит «следующее предложение должно быть похоже на код».

Почему «похоже на правду» и «правда» — это не одно и то же

Здесь стоит остановиться и проговорить, что вообще происходит под капотом, потому что без этого вся критика звучит как нытьё динозавра. ChatGPT построен на языковой модели. Если очень грубо: она обучена предсказывать, какой токен вероятнее всего идёт следующим, исходя из гигантского корпуса текста, в том числе кода. Она невероятно хороша в том, чтобы продолжать текст так, чтобы он выглядел естественно и уместно. Но «выглядеть уместно» и «быть верным» — это две разные задачи, и модель оптимизировали под первую.

Отсюда растёт вся специфика. Код, который пишет ChatGPT, — это статистически наиболее правдоподобное продолжение вашего запроса, а не логически выведенное из требований решение.Если в обучающих данных миллион раз встречалось if (!value) как проверка на пустоту, модель напишет именно это, не задумываясь, что в вашем конкретном домене 0 — валидное значение. Она не знает вашего домена. Она вообще ничего не «знает» в человеческом смысле. Она угадывает следующий кусок текста, и угадывает поразительно гладко.

Поэтому самая опасная черта этого инструмента — не ошибки, а уверенность, с которой они подаются. Когда компилятор ругается, ты сразу видишь, что что-то не так. Когда коллега сомневается, он пишет «не уверен, проверь». А ChatGPT выдаёт неправильный код тем же ровным, авторитетным тоном, что и правильный. Нет сигнала неуверенности. Нет «вот тут я предположил, проверь сам». Есть только гладкий текст, который одинаково убедительно выглядит и когда он прав, и когда он несёт чушь. Для джуна, который не умеет отличить одно от другого, это не помощник, а ловушка.

На незнакомом проекте это становится генератором уверенных багов

Ключевое слово здесь — контекст. Когда я прошу написать функцию, я держу в голове кучу вещей, которых нет в моём текстовом запросе: как выглядят наши конфиги на самом деле, какие значения там бывают, какие ошибки мы кидаем и как они обрабатываются выше по стеку, какой у нас стиль, какие соседние функции уже решают половину задачи. Всё это — контекст проекта. Я в нём живу, а модель его не видит. Она видит только тот огрызок, который я уместил в поле ввода, а оно сейчас держит всего несколько тысяч токенов. Туда мой проект целиком не влезает даже близко.

И вот здесь главный вывод, который я для себя сформулировал за эти дни возни: дело не в том, что ИИ тупой, а в том, что у него катастрофически маленький контекст, и он вынужден достраивать недостающее самым вероятным усреднённым кодом из интернета. На вылизанной demo-задаче, где всё нужное помещается в один абзац, это работает блестяще — потому что усреднённое решение там и есть правильное. На реальном проекте, где половина важных деталей живёт в голове разработчика и в соседних файлах, усреднённое решение почти гарантированно мимо. Чем уникальнее ваш контекст, тем увереннее модель промахивается.

Именно поэтому демки такие сочные, а боевое применение такое разочаровывающее. В демке автор подбирает задачу, у которой каноничный ответ уже сто раз написан на StackOverflow: распарсить дату, дёрнуть API, сделать дебаунс. Модель видела это тысячи раз и воспроизводит почти идеально. Но мою функцию для нашего внутреннего формата конфигов она не видела никогда, потому что её не существует нигде, кроме нашего репозитория. И она достроила её из кусков чужих парсеров, которые к моему случаю не подходят.

А Copilot? С ним та же история, только тише

Тут кто-нибудь скажет: ну так это же чат, игрушка, а есть Copilot, он встроен в редактор и видит файл. Я пользуюсь Copilot с прошлого лета, и да, в редакторе он видит больше — открытый файл, иногда соседние. Контекст чуть шире, и за счёт этого автодополнения чаще попадают в точку. Но природа та же самая. Это та же языковая модель, дописывающая вероятное продолжение, просто с чуть лучшим обзором ближайших строк.

На практике Copilot отлично закрывает скучную механику: дописать очевидный map, развернуть шаблонный switch, угадать имя переменной, накидать рутинный тест по образцу соседнего. Тут он экономит реальные минуты, и я не собираюсь это обесценивать. Но как только дело доходит до логики, которую нельзя угадать из ближайших двадцати строк, он точно так же уверенно подсовывает правдоподобную ерунду. Просто делает это тише, прямо в потоке набора, и в этом своя опасность: легко на автомате нажать Tab и принять предложение, которое выглядит правильно, но молча ломает крайний случай.

Так что Copilot — не другой класс инструмента, а тот же подход в более удобной обёртке. Он подтверждает ровно тот же вывод: качество прямо пропорционально тому, насколько твоя задача похожа на усреднённый код из интернета. Шаблонное — хорошо. Уникальное для твоего проекта — рулетка.

Где это реально помогло — честно, без презрения

Чтобы не свалиться в позу луддита, скажу прямо: за эти дни были моменты, где инструмент мне действительно помог, и было бы нечестно их замолчать. Я не пишу «ИИ бесполезен» — я пишу «ИИ полезен совсем не там, где обещает реклама».

  • Болванка вместо чистого листа. Когда я примерно знаю, что хочу, но лень печатать каркас, ChatGPT выдаёт скелет за пару секунд. Дальше я его переписываю под себя, но смотреть на пустой файл уже не надо — психологически это помогает.
  • Объяснить незнакомый кусок. Скинул чужую регулярку или мутный кусок чужого кода — получил человеческое объяснение. Иногда неточное, но как отправная точка для понимания вполне годится.
  • Рутинные преобразования. Перегнать структуру данных из одного вида в другой, накидать набор тестовых кейсов, переписать цикл в более читаемый вид — тут гладкость модели работает в плюс.
  • Вспомнить синтаксис или API, который вылетел из головы. Быстрее, чем гуглить, и сразу с примером. Проверять всё равно надо, но как отправная точка вместо поиска по документации это работает.

Видите закономерность? Везде, где он помог, я выступал фильтром. Я задавал направление, я отсекал чушь, я знал правильный ответ или умел его быстро проверить. Инструмент ускорял меня там, где я и так компетентен. Он не заменял мою экспертизу — он экономил мне нажатия на клавиши вокруг неё. Это полезно. Но это очень далеко от «код пишет машина».

Три места, где я бы не доверился этой штуке

Теперь про цену, потому что без неё разговор однобокий. Есть места, где соблазн довериться этому инструменту прямо сейчас обходится дороже, чем вообще им не пользоваться.

Первое — любая логика, которую вы не можете проверить с одного взгляда. Если вы не способны посмотреть на сгенерированную функцию и сразу сказать, права она или нет, вы не пользуетесь инструментом — вы играете в рулетку с продакшеном. Гладкость текста усыпляет бдительность ровно тогда, когда бдительность нужнее всего. Я ловил себя на том, что готов принять кусок просто потому, что он красиво выглядит. Это и есть главный риск.

Второе — всё, что касается безопасности, денег и данных пользователей. Модель с радостью напишет вам проверку прав или работу с платежом в усреднённом стиле «как обычно пишут в интернете», а «как обычно пишут в интернете» в этих областях — это часто «с дырой». Ошибка в парсере конфига стоит мне получаса. Ошибка в проверке доступа стоит компании репутации. Это несопоставимые ставки.

Третье — обучение, если вы в начале пути. Самое вредное, что может сделать джун в 2023 году, — это принять ChatGPT за учителя. Учитель объясняет, почему правильно, и честно говорит, когда не уверен. Эта штука одинаково уверенно говорит и верное, и неверное, и у новичка нет фильтра, чтобы отличить. Учиться на инструменте, который не отличает правду от правдоподобия, — это учиться доверять не тому. Сначала надо набрать собственный фильтр, а уже потом подключать ускоритель.

Что это всё-таки значит, если убрать хайп

Если отжать из ленты восторги и панику, остаётся довольно трезвая картина. Появился новый класс инструментов, которые очень хорошо генерируют правдоподобный текст, в том числе код. Они реально ускоряют рутину, реально помогают на шаблонных задачах и реально экономят время тому, кто умеет проверять результат. И они же реально опасны в руках того, кто проверять не умеет, потому что выдают ошибки с тем же спокойным авторитетным лицом, что и правильные ответы.

Это не революция, которая отменяет профессию, и не игрушка, которую можно списать со счетов. Это сдвиг. Появился ускоритель для опытного человека и капкан для неопытного — одновременно, в одном продукте. Граница между этими двумя ролями проходит ровно по способности отличить правдоподобное от верного, а эта способность и есть инженерная экспертиза, которую нельзя сгенерировать. Чтобы пользоваться этим без вреда, нужно уметь делать ровно то, что инструмент якобы делает за тебя. Парадокс, но никуда от него не деться.

Я слышу слухи, что скоро выкатят модель помощнее, с большим контекстом, и что вот тогда-то всё изменится. Может быть. Больше контекста действительно лечит часть проблем, о которых я тут написал — если модель увидит мой проект целиком, она перестанет угадывать недостающее. Но она по-прежнему будет генерировать вероятное, а не доказанно верное, и тон уверенности при ошибке никуда не денется сам собой. Так что пока я не верю на слово ни хайпу, ни панике. Я верю запуску кода.

Та самая функция, с которой я начал, в итоге работает. Я переписал её сам, оставив от версии ChatGPT разве что общую форму. И вывод из этой возни у меня предельно практичный: относитесь к ChatGPT как к очень начитанному, очень уверенному и совершенно безответственному стажёру — пусть набрасывает черновики, но ни одной строчки не пускайте в прод без вашей проверки, потому что отвечать за баг всё равно вам, а не ему.

Автор

Senior Principal JavaScript Developer, Tech Lead. Пишет о React, TypeScript, React Native, архитектуре фронтенда и бэкенда и о том, как AI меняет работу разработчика.

Обновлено

Читайте также