Что показано
Команда Claude Code пишет и ревьюит руками Claude около 90% своего кода и объясняет, какими проверками они доверяют агенту настолько, что гоняют десятки параллельных сессий без человека на каждый diff. Статья разбирает три типа тестов, которые реально стоит писать (e2e, property-based, differential), и отдельно - как не дать агенту же самому «подкрутить» проверку под себя.
Почему это работает
Суть в том, что верификация - это не «добавить тестов», а инженерия самого слоя доверия. Юнит-тест и агент, который его написал, часто страдают одной и той же слепотой: оба не видят фичу целиком, поэтому тест зелёный, а фича не работает. E2E-тест такого шанса почти не даёт: либо юзер прошёл чекаут и увидел подтверждение, либо нет, и трейс сразу показывает, на каком шаге форма оплаты не загрузилась. Property-тесты, короче, бьют по другому слепому пятну - краевым случаям, про которые агент (как и человек) просто не подумал, потому что генератор входных данных не разделяет его предвзятость. А differential-тесты полезны там, где спека уже разошлась с продом: вместо «правильного» ответа берут старую систему как эталон и сравнивают с новой на реальном трафике.
Отдельный и, по мне, самый ценный кусок - про защиту самого слоя проверки. Правило «изменение не может редактировать проверку, которая его оценивает» звучит банально, но на практике означает конкретную архитектуру: код-ревью читает рубрику из базовой ветки, а не из PR, который как раз проверяется. И правило про три попытки - это, в общем, не «дать агенту больше попыток», а наоборот: явный тормоз, который превращает бесконечный ретрай-луп в сигнал «звать человека».
Проверка, которую может переписать тот же diff, который она оценивает, - это не проверка, а театр.
Как повторить
- Для новой фичи сначала описывай не юнит-кейс, а сценарий пользователя целиком - от входа до результата (добавил в корзину → оплатил → увидел подтверждение).
- Дай агенту реальный доступ к живой системе для этого сценария: для веба - Chrome DevTools Protocol, для iOS - симулятор, для бэкенда - API-harness. Без этого e2e превращается в описание, а не в проверку.
- Собери «feature map» - список путей пользователя с селекторами, шорткатами и ожидаемым результатом. Он же служит рубрикой: по ней отдельный grader-агент может оценить, прошёл ли сценарий (восстановлено по смыслу статьи, конкретного формата файла она не даёт).
- На код с инвариантами (парсинг, сериализация, миграции, retry-логика) накинь property-тесты: round-trip («закодировал-декодировал - получил то же»), инварианты («баланс не может быть отрицательным»), идемпотентность, эквивалентность оптимизированной и наивной версии. Библиотеки:
fast-checkдля JS/TS,Hypothesisдля Python,proptestдля Rust. - Для миграций и рефакторингов, где старое поведение - эталон, прогони differential test: один и тот же вход (случайный или кусок реального прод-трафика) через старую и новую систему, сравни результаты с нормализацией незначимых отличий (пробелы и т.п.), веди список осознанных расхождений, чтобы они не всплывали как баг каждый раз.
- Зашей правило на три попытки: агент видит упавшую проверку, чинит, прогоняет снова; после третьего подряд провала - стоп и передача человеку, а не попытка № 4.
- Защити саму проверку: правила грейдинга и рубрика должны жить там, куда diff, который они оценивают, физически не дотягивается (отдельная ветка/файл вне PR). Флаки-тест не скипай и не ретрай-до-зелёного - либо находишь причину, либо удаляешь тест и фиксируешь почему.
Ссылки и ресурсы
- How the Claude Code team thinks about verification - сама статья, разбор выше; найдено в тексте сохранёнки, открыто напрямую, актуально.
- How the Claude Code team does code review - компаньон-статья про то самое код-ревью на 90% Claude-кода (слияния ×2, откаты -40% с июня по сентябрь); дана ссылкой в первом абзаце основной статьи, открыто напрямую.
- Building verification loops in Claude Code with skills - практический гайд, как завернуть ручную проверку в скилл
.claude/skills/: выбрать проверку, попробовать встроенный/verify, описать процедуру простым языком, собрать скилл через/skill-creatorили руками, прогнать на новой задаче, сцепить несколько скиллов в цепочку; бесплатно, адрес поправлен на финальный после редиректа. - Claude managed agents - источник цифры «+10 пунктов к успеху задачи от grader-рубрики»; это анонс платного продукта Anthropic (облачные агенты, подписка по тарифам API), сама цифра дана без деталей методики и выборки задач - маркетинговая страница, а не независимое исследование; бесплатно для чтения, адрес поправлен на финальный после редиректа.
- Chrome DevTools Protocol - открытый протокол Chromium для e2e-доступа к живому веб-приложению; бесплатно, открыт напрямую.
- fast-check - property-based библиотека для JS/TS; open source, бесплатно, открыт напрямую.
- Hypothesis - property-based библиотека для Python; open source, бесплатно, открыт напрямую.
- proptest - property-based библиотека для Rust; open source, бесплатно, открыт напрямую.
- Large-scale AI code migration - статья про differential tests на реальных миграциях (перенос Bun с Zig на Rust, перенос Python-кодовой базы на TypeScript), на неё обрывалась цитата в оригинальном тексте; бесплатно для чтения, открыта напрямую, содержит конкретные цифры и шаги, не только рекламу.
- Code review customization docs - официальная документация, как настраивать правила код-ревью через
REVIEW.md/CLAUDE.mdпод свой проект; бесплатная документация, открыта напрямую. - Hooks docs - документация по хукам Claude Code; пригодится для правила «три попытки - стоп» буквально: хук
PostToolUseFailureс счётчиком поsession_idи ответом{"continue": false}на третьей подряд неудаче; бесплатная документация, открыта напрямую. - Goal docs - документация Claude Code про команду
/goal: задаёте условие готовности, Claude работает, пока отдельная модель-оценщик не подтвердит, что условие выполнено (или невозможно); бесплатная документация, открыта напрямую.
Проверочный прогон
Возьмите одну свою фичу с реальным пользовательским сценарием (не функцию, а путь целиком) и прогоните e2e через CDP/симулятор/harness до конца. Если прогон даёт конкретный шаг и скриншот, на котором всё сломалось («форма оплаты не загрузилась, кнопка осталась disabled»), а не абстрактный таймаут - значит, проверка собрана правильно. Если после этого вы добавили property-тест на один инвариант своего кода и он нашёл хотя бы один краевой случай, который вы не предвидели руками, - приём сработал. Неудача выглядит так: тесты зелёные, а фича всё равно не работает у живого пользователя, то есть вы снова скатились в юнит-тесты, которые страдают той же слепотой, что и агент.
Где это пригодится
Если у вас агент (любой - Claude Code, Codex, свой бот) пишет заметную долю кода и вы физически не успеваете читать каждый diff, этот рецепт - не теория, а чек-лист, по которому можно расширять количество параллельных сессий без потери контроля. Особенно полезно там, где правила проверки и правки кода исторически жили в одной голове и в одной ветке: тогда «изменение не может редактировать свою же проверку» - это тот самый трюк, который не даёт агенту тихо подправить тест вместо того, чтобы починить баг. У себя в системе уже стоят похожие принципы (фикс = проверено запуском, а не кодом возврата), и эта статья, собственно, скорее формализует и даёт язык для того же самого, плюс конкретно называет три типа тестов и правило трёх попыток как явный предохранитель.
Оговорки
Статья описывает внутренний процесс команды Claude Code, а не готовый инструмент: ни кода, ни шаблона feature map, ни конкретной реализации «grader-агента» она не даёт, это придётся строить самому. Цифра «+10 пунктов успеха задачи» получена на одном конкретном внутреннем тесте (structured file generation), а не на всех видах кода, так что переносить её на свой проект как гарантию нельзя. Утверждение «90% кода пишет и ревьюит Claude» - заявление самой команды без стороннего аудита, его нужно воспринимать как маркетинговую цифру компании о своём собственном продукте. Раздел про differential tests и правило трёх попыток в телеграм-сохранёнке и в обрезанном reader-тексте, кстати, отсутствовали - я их восстановил отдельным прямым запросом страницы, в самой присланной выжимке их нет. Домен claude.dev на вид не похож на Anthropic (у них claude.com и claude.ai) - отдельно проверил: это их официальный блог для разработчиков, запущенный в октябре 2026, не сторонний клон или фишинг.