№130

20 ноября 2026

агенты · инструменты

Три слоя проверки, которые дают агенту право на «готово»

Готовый рецепт из трёх типов тестов (e2e, property-based, differential) плюс жёсткое правило «три неудачные попытки - и стоп, звать человека».

7 мин чтения

Где подвох
это рассказ про внутренний процесс команды Claude Code, а не готовая библиотека, e2e-харнесс (CDP/симулятор) всё равно придётся строить руками, и цифры даны только по одному узкому тесту (structured file generation), не по всем видам задач.

Что показано

Команда Claude Code пишет и ревьюит руками Claude около 90% своего кода и объясняет, какими проверками они доверяют агенту настолько, что гоняют десятки параллельных сессий без человека на каждый diff. Статья разбирает три типа тестов, которые реально стоит писать (e2e, property-based, differential), и отдельно - как не дать агенту же самому «подкрутить» проверку под себя.

Почему это работает

Суть в том, что верификация - это не «добавить тестов», а инженерия самого слоя доверия. Юнит-тест и агент, который его написал, часто страдают одной и той же слепотой: оба не видят фичу целиком, поэтому тест зелёный, а фича не работает. E2E-тест такого шанса почти не даёт: либо юзер прошёл чекаут и увидел подтверждение, либо нет, и трейс сразу показывает, на каком шаге форма оплаты не загрузилась. Property-тесты, короче, бьют по другому слепому пятну - краевым случаям, про которые агент (как и человек) просто не подумал, потому что генератор входных данных не разделяет его предвзятость. А differential-тесты полезны там, где спека уже разошлась с продом: вместо «правильного» ответа берут старую систему как эталон и сравнивают с новой на реальном трафике.

Отдельный и, по мне, самый ценный кусок - про защиту самого слоя проверки. Правило «изменение не может редактировать проверку, которая его оценивает» звучит банально, но на практике означает конкретную архитектуру: код-ревью читает рубрику из базовой ветки, а не из PR, который как раз проверяется. И правило про три попытки - это, в общем, не «дать агенту больше попыток», а наоборот: явный тормоз, который превращает бесконечный ретрай-луп в сигнал «звать человека».

Проверка, которую может переписать тот же diff, который она оценивает, - это не проверка, а театр.

Как повторить

  1. Для новой фичи сначала описывай не юнит-кейс, а сценарий пользователя целиком - от входа до результата (добавил в корзину → оплатил → увидел подтверждение).
  2. Дай агенту реальный доступ к живой системе для этого сценария: для веба - Chrome DevTools Protocol, для iOS - симулятор, для бэкенда - API-harness. Без этого e2e превращается в описание, а не в проверку.
  3. Собери «feature map» - список путей пользователя с селекторами, шорткатами и ожидаемым результатом. Он же служит рубрикой: по ней отдельный grader-агент может оценить, прошёл ли сценарий (восстановлено по смыслу статьи, конкретного формата файла она не даёт).
  4. На код с инвариантами (парсинг, сериализация, миграции, retry-логика) накинь property-тесты: round-trip («закодировал-декодировал - получил то же»), инварианты («баланс не может быть отрицательным»), идемпотентность, эквивалентность оптимизированной и наивной версии. Библиотеки: fast-check для JS/TS, Hypothesis для Python, proptest для Rust.
  5. Для миграций и рефакторингов, где старое поведение - эталон, прогони differential test: один и тот же вход (случайный или кусок реального прод-трафика) через старую и новую систему, сравни результаты с нормализацией незначимых отличий (пробелы и т.п.), веди список осознанных расхождений, чтобы они не всплывали как баг каждый раз.
  6. Зашей правило на три попытки: агент видит упавшую проверку, чинит, прогоняет снова; после третьего подряд провала - стоп и передача человеку, а не попытка № 4.
  7. Защити саму проверку: правила грейдинга и рубрика должны жить там, куда diff, который они оценивают, физически не дотягивается (отдельная ветка/файл вне PR). Флаки-тест не скипай и не ретрай-до-зелёного - либо находишь причину, либо удаляешь тест и фиксируешь почему.

Ссылки и ресурсы

  • How the Claude Code team thinks about verification - сама статья, разбор выше; найдено в тексте сохранёнки, открыто напрямую, актуально.
  • How the Claude Code team does code review - компаньон-статья про то самое код-ревью на 90% Claude-кода (слияния ×2, откаты -40% с июня по сентябрь); дана ссылкой в первом абзаце основной статьи, открыто напрямую.
  • Building verification loops in Claude Code with skills - практический гайд, как завернуть ручную проверку в скилл .claude/skills/: выбрать проверку, попробовать встроенный /verify, описать процедуру простым языком, собрать скилл через /skill-creator или руками, прогнать на новой задаче, сцепить несколько скиллов в цепочку; бесплатно, адрес поправлен на финальный после редиректа.
  • Claude managed agents - источник цифры «+10 пунктов к успеху задачи от grader-рубрики»; это анонс платного продукта Anthropic (облачные агенты, подписка по тарифам API), сама цифра дана без деталей методики и выборки задач - маркетинговая страница, а не независимое исследование; бесплатно для чтения, адрес поправлен на финальный после редиректа.
  • Chrome DevTools Protocol - открытый протокол Chromium для e2e-доступа к живому веб-приложению; бесплатно, открыт напрямую.
  • fast-check - property-based библиотека для JS/TS; open source, бесплатно, открыт напрямую.
  • Hypothesis - property-based библиотека для Python; open source, бесплатно, открыт напрямую.
  • proptest - property-based библиотека для Rust; open source, бесплатно, открыт напрямую.
  • Large-scale AI code migration - статья про differential tests на реальных миграциях (перенос Bun с Zig на Rust, перенос Python-кодовой базы на TypeScript), на неё обрывалась цитата в оригинальном тексте; бесплатно для чтения, открыта напрямую, содержит конкретные цифры и шаги, не только рекламу.
  • Code review customization docs - официальная документация, как настраивать правила код-ревью через REVIEW.md/CLAUDE.md под свой проект; бесплатная документация, открыта напрямую.
  • Hooks docs - документация по хукам Claude Code; пригодится для правила «три попытки - стоп» буквально: хук PostToolUseFailure с счётчиком по session_id и ответом {"continue": false} на третьей подряд неудаче; бесплатная документация, открыта напрямую.
  • Goal docs - документация Claude Code про команду /goal: задаёте условие готовности, Claude работает, пока отдельная модель-оценщик не подтвердит, что условие выполнено (или невозможно); бесплатная документация, открыта напрямую.

Проверочный прогон

Возьмите одну свою фичу с реальным пользовательским сценарием (не функцию, а путь целиком) и прогоните e2e через CDP/симулятор/harness до конца. Если прогон даёт конкретный шаг и скриншот, на котором всё сломалось («форма оплаты не загрузилась, кнопка осталась disabled»), а не абстрактный таймаут - значит, проверка собрана правильно. Если после этого вы добавили property-тест на один инвариант своего кода и он нашёл хотя бы один краевой случай, который вы не предвидели руками, - приём сработал. Неудача выглядит так: тесты зелёные, а фича всё равно не работает у живого пользователя, то есть вы снова скатились в юнит-тесты, которые страдают той же слепотой, что и агент.

Где это пригодится

Если у вас агент (любой - Claude Code, Codex, свой бот) пишет заметную долю кода и вы физически не успеваете читать каждый diff, этот рецепт - не теория, а чек-лист, по которому можно расширять количество параллельных сессий без потери контроля. Особенно полезно там, где правила проверки и правки кода исторически жили в одной голове и в одной ветке: тогда «изменение не может редактировать свою же проверку» - это тот самый трюк, который не даёт агенту тихо подправить тест вместо того, чтобы починить баг. У себя в системе уже стоят похожие принципы (фикс = проверено запуском, а не кодом возврата), и эта статья, собственно, скорее формализует и даёт язык для того же самого, плюс конкретно называет три типа тестов и правило трёх попыток как явный предохранитель.

Оговорки

Статья описывает внутренний процесс команды Claude Code, а не готовый инструмент: ни кода, ни шаблона feature map, ни конкретной реализации «grader-агента» она не даёт, это придётся строить самому. Цифра «+10 пунктов успеха задачи» получена на одном конкретном внутреннем тесте (structured file generation), а не на всех видах кода, так что переносить её на свой проект как гарантию нельзя. Утверждение «90% кода пишет и ревьюит Claude» - заявление самой команды без стороннего аудита, его нужно воспринимать как маркетинговую цифру компании о своём собственном продукте. Раздел про differential tests и правило трёх попыток в телеграм-сохранёнке и в обрезанном reader-тексте, кстати, отсутствовали - я их восстановил отдельным прямым запросом страницы, в самой присланной выжимке их нет. Домен claude.dev на вид не похож на Anthropic (у них claude.com и claude.ai) - отдельно проверил: это их официальный блог для разработчиков, запущенный в октябре 2026, не сторонний клон или фишинг.

Больше подобного

Разбираю по находке в день и складываю сюда. Свежее и то, что до сайта не доехало, выходит в канале «Евдокимов как обычно».