Copilot в реальной работе: где помогает, где бесит

•
Опубликовано
•
11 мин чтения

Текст написан с позиции сентября 2023 года: так, как тема выглядела тогда, без технологий и событий, появившихся позже.

GitHub Copilot открыт для всех уже больше года, и за это время я успел пройти все стадии, положенные нормальному скептику. Сначала отмахивался: ну да, очередная штука с автодополнением, которую маркетинг назвал «AI pair programmer», чтобы продать подписку. Потом попробовал на выходных, поморщился, выключил. Потом включил снова, потому что коллеги хвалили. А недавно сделал то, что давно надо было сделать честному инженеру: отработал на нём целый спринт в боевом проекте и записывал, где он реально сэкономил мне время, а где, наоборот, отнимал время и заставлял переписывать.

Сразу зафиксирую главную мысль, чтобы дальше не размазывать. Год назад я бы написал статью в духе «всё это переоценённый хайп, выключайте и пишите код руками». Сейчас так уже не напишу — и это для меня самого небольшое признание. На определённом классе задач Copilot экономит секунды десятками раз в день, и в сумме это перестаёт быть шумом. Но ровно там, где начинается интересное, где живёт доменная логика и принятие решений, он не помощник, а источник правдоподобной ерунды. И вот эту границу нельзя размазывать ни в одну сторону.

Поэтому статья не про «за» и не про «против». Она про то, где конкретно этот инструмент полезен, где он бесит, и почему разница между двумя режимами не косметическая, а принципиальная. Потому что самое опасное, что я видел за этот год, — это не сам Copilot. Это junior, который принимает его подсказки не глядя.

Что Copilot на самом деле такое, если убрать маркетинг

Начнём с трезвой рамки, потому что без неё весь разговор скатывается в эмоции. Copilot — это не «помощник-инженер». Это автодополнение на стероидах. Под капотом — большая языковая модель (в основе Codex, родственник GPT), которая по контексту открытого файла, нескольких соседних вкладок и сигнатур достраивает наиболее вероятное продолжение. Ключевое слово — вероятное. Не правильное, не проверенное, не соответствующее вашей доменной модели. Статистически правдоподобное продолжение текста, которым случайно оказался код.

Это не уничижение, это техническая суть. И из неё растёт всё остальное. Модель не понимает вашу систему. Она не знает, что три месяца назад вы договорились никогда не дёргать платёжный шлюз синхронно из обработчика запроса. Она не в курсе, что в этом проекте userId — это строка, а не число, потому что так исторически сложилось и переделывать дорого. Она видит токены и достраивает токены. Всё.

Здесь же стоит честно сказать про контекст. Copilot видит немного: открытый файл, кое-что из соседних вкладок, обрывки. Он не держит в голове весь репозиторий, не читает вашу документацию, не помнит вчерашнее ревью. Поэтому любые ожидания уровня «он разберётся в архитектуре проекта» заранее обречены. Не разберётся. Он и не для этого. И это не баг, который скоро починят патчем, — это природа инструмента на сегодняшний день.

Когда печатать важнее, чем думать — там он и выручает

Теперь к приятному, потому что оно есть, и отрицать его было бы враньём. Есть целый пласт работы, который не требует мышления, а требует печатать. Именно здесь Copilot перестаёт быть игрушкой и начинает реально экономить.

  • Структурный бойлерплейт. Завёл интерфейс — он достроил конструктор, маппер, дефолтные значения. Написал имя функции mapUserToDto — он угадал девять полей из десяти, потому что они лежат рядом и называются одинаково.
  • Заготовки тестов. Не сами проверки, а скелет: describe, it, аранжировка моков, повторяющиеся обвязки. То, что ты и так напишешь, но руками это пять минут тупого набора.
  • Повторяющиеся паттерны. Когда в файле уже есть три однотипных обработчика, четвёртый он достраивает почти целиком — потому что у него прямо перед глазами образец, и достроить по образцу модель умеет хорошо.
  • Мелкая рутина: форматирование объекта, преобразование switch в словарь, набор однообразных case, регулярка средней паршивости, которую лень вспоминать.

Объединяет всё это одно свойство: задача низкоэнтропийная. Правильный ответ предсказуем, его легко проверить взглядом за секунду, а цена ошибки близка к нулю, потому что ошибку видно сразу. Здесь «статистически вероятное продолжение» и «правильное продолжение» почти совпадают — и инструмент попадает в цель.

Это не про то, что я перестал думать. Это про то, что я перестал тратить мышечную энергию на участки, где думать нечего. И вот эта экономия, помноженная на сотню микромоментов в день, оказалась реальной. Не революцией. Не «теперь я пишу код в два раза быстрее» — это враньё, которым торгуют слайды. А именно сдвигом: меньше скучного набора, чуть больше внимания остаётся на том, что действительно требует головы.

Правдоподобная чушь опаснее явной дичи

А теперь туда, где я за этот год чаще всего ругался. Ровно в тот момент, когда задача перестаёт быть механической и становится решением, Copilot ломается — но ломается коварно. Он не выдаёт очевидную дичь, которую сразу отбросишь. Он выдаёт правдоподобную чушь. Код, который компилируется, выглядит уверенно, повторяет ваш стиль — и при этом тихо неправильный по сути.

Конкретные грабли, на которые я наступал:

  • Граничные условия. Он бодро достраивает основную ветку и игнорирует пустой список, ноль, отрицательное значение, ситуацию «такого пользователя нет». Не потому что забыл, а потому что в типичном коде из его обучающей выборки эти ветки часто отсутствуют. Он воспроизводит средний код интернета, а средний код интернета граничные случаи проваливает.
  • Бизнес-правила. Он не знает, что скидка не применяется к уже уценённому товару, что комиссию считаем до налога, а не после, что заказ нельзя отменить после отгрузки. Он напишет правдоподобную формулу — и она будет неправильной ровно настолько, чтобы пройти беглый взгляд и сломаться в продакшене.
  • Безопасность и конкурентность. Подсказки про SQL спокойно склеивают строку запроса. Подсказки про параллельный доступ игнорируют гонки. Усреднённая выборка кода не славится дисциплиной в этих вопросах, и модель честно эту неславу наследует.
  • Выдуманные API. Изредка он предлагает метод, которого у библиотеки нет, но который звучит так, будто должен быть. array.removeWhere() — красиво же. Жаль, что не существует.

И вот здесь главная фигура всей этой истории: проблема не в том, что Copilot ошибается. Все ошибаются. Проблема в интонации, с которой он ошибается. Он не сомневается. Серое подчёркивание выглядит одинаково уверенно и когда достраивает геттер, и когда выдумывает формулу расчёта пени. У инструмента нет регулятора уверенности, а у человека есть встроенное доверие к тому, что подсказано гладко. Это плохое сочетание.

Настоящая опасность — не инструмент, а junior, принимающий не глядя

Если бы Copilot пользовались только сеньоры, я бы написал куда более мягкую статью. Опытный человек подсказку читает как черновик от стажёра: спасибо, я посмотрю, а вот тут ты, дружок, наврал. Он фильтрует на автомате, потому что у него есть модель системы в голове, с которой он сверяет каждую строку.

А теперь представьте джуна. У него этой модели ещё нет — он её как раз нарабатывает. Для него серая подсказка выглядит не как черновик, а как ответ. Как будто старший товарищ заглянул через плечо и подсказал, как правильно. Он жмёт Tab, оно компилируется, тесты (которые он, скорее всего, тоже надиктовал тем же способом) зеленеют — и он идёт дальше. А в код тихо заехал баг, который никто не писал осознанно, и потому никто его не помнит.

Вот это самое опасное, что я увидел за год. Не то, что Copilot пишет плохой код. А то, что он выключает у неопытного человека ту самую мышцу, которую тот должен тренировать: сомнение, проверку, привычку спрашивать «а почему именно так». Раньше джун, застряв, лез в документацию, читал чужой код, собирал понимание по кусочкам — и в процессе рос. Теперь у него есть кнопка, которая выдаёт правдоподобный ответ мгновенно, и соблазн не думать огромен. Растёт скорость набора, а не понимание.

И это не значит, что джунам надо запретить Copilot. Это значит, что в команде должно быть проговорено прямо: подсказка — это не истина, это предложение, которое ты обязан понять и проверить прежде, чем принять. Если человек не может объяснить на ревью, почему его код именно такой, не ссылаясь на «ну оно само так подсказало», — это красный флаг, и не для инструмента, а для процесса.

Почему «он же пишет код» — неправильная мерка

Отдельно хочу разобрать аргумент, который чаще всего слышу от восторженных коллег: «Да ты посмотри, он же целые функции пишет». Пишет. И ровно здесь зарыта подмена, на которую легко купиться. Объём сгенерированного кода — вообще не та метрика, по которой стоит мерить пользу. Написание кода никогда не было узким местом в моей работе. Узкое место — это понять, что именно нужно написать, не сломав остальное; учесть случаи, о которых заказчик не подумал; не завести регрессию в соседней фиче.

То есть инструмент жмёт на ту педаль, которая и так не была тормозом. Скорость набора выросла — прекрасно, но скорость набора и скорость разработки — это разные величины, и путать их дорого. Я видел, как человек «быстро» нагенерил функцию за минуту, а потом полдня ловил, почему она ломается на пустом массиве и втихую округляет не в ту сторону. Суммарно — медленнее, чем если бы он эту минуту просто подумал. Не «он ускоряет разработку», а «он ускоряет печать»; разница между этими формулировками и есть вся честность разговора.

Поэтому мерить Copilot количеством принятых подсказок — занятие для отчёта, а не для инженера. Полезная подсказка та, которая сэкономила мне внимание на участке, не требующем внимания. Вредная — та, которая подсунула готовый ответ там, где я был обязан остановиться и решить сам. По объёму они выглядят одинаково. По цене — противоположно.

Как я в итоге им пользуюсь

По итогам спринта у меня сложился рабочий режим, и он довольно простой. Copilot включён всегда, но я отношусь к нему дифференцированно в зависимости от того, что печатаю.

На рутине я ему доверяю и почти не глядя принимаю — потому что цена ошибки нулевая и ошибку видно сразу. На границе механического и осмысленного я читаю подсказку как подсказку: иногда она экономит мне набор имени метода или формы вызова, иногда нет. А когда я пишу что-то, где есть решение — бизнес-правило, граничный случай, что-то про деньги, доступ или конкурентность, — я её попросту не читаю до того, как сам решил, как должно быть. Потому что если я загляну в готовый правдоподобный вариант раньше, чем сформулировал собственный, он сядет мне на якорь, и я начну рационализировать чужой ответ вместо того, чтобы думать своим.

Про Copilot Chat скажу осторожно: он сейчас в раннем доступе, я пощупал, и для объяснения незнакомого куска кода или быстрого «что делает эта регулярка» он местами удобнее, чем гуглить. Но это всё та же модель с теми же свойствами — уверенный тон при неизвестной точности. Делать на его ответах выводы без проверки я бы не стал, и вам не советую.

Что Copilot меняет на самом деле, а что оставляет на вас

Подведу черту без обеих крайностей, потому что и хайп, и тотальный скепсис тут одинаково ленивы.

Что Copilot реально меняет: он снимает с инженера значительную часть механического набора. Это не пустяк. Когда десятки раз в день не нужно вручную выписывать предсказуемый код, остаётся чуть больше внимания на то, что внимания требует. Это про эргономику, про усталость к концу дня, про скорость прохождения скучных участков. Здесь он честно полезен, и год назад я это недооценивал.

Чего он не меняет совсем: он не принимает за вас решений и не несёт за них ответственности. Понимание системы, проверка граничных случаев, знание доменных правил, дисциплина на ревью — всё это по-прежнему на человеке, в полном объёме. Более того, на неопытных людях он эту нагрузку не снимает, а маскирует, и в этом его главная цена. Инструмент, который ускоряет набор, на джуне легко превращается в инструмент, который замедляет рост.

Если сформулировать совсем прямо, то вот так: Copilot — это не помощник-инженер, а автодополнение на стероидах, и вся разница между пользой и вредом сводится к одному вопросу — успели вы подумать раньше, чем нажали Tab. Там, где ответ предсказуем и проверяется за секунду, он экономит вам время. Там, где есть решение, он экономит вам время на то, чтобы принять чужую правдоподобную ошибку за свою.

Так что выключать его я не стал — и это, пожалуй, та уступка, которую я готов сделать всей этой шумихе. Узкая, конкретная, с честно прочерченной границей. Не «оно изменит индустрию». А «на бойлерплейте оно экономит секунды, а на смысле — молчи и думай сам». Этого вполне хватает, чтобы держать его включённым и не питать иллюзий.

Автор

Senior Principal JavaScript Developer, Tech Lead. Пишет о React, TypeScript, React Native, архитектуре фронтенда и бэкенда и о том, как AI меняет работу разработчика.

Обновлено

Читайте также