AI-агенты в пентесте: что я попробовал и почему ни один не остался в проде

Меня зовут Сергей Зыбнев, я 5 лет в ИБ, веду телеграм-канал Похек, работаю тимлидом пентестеров в «Бастион», специализируюсь на веб-пентесте.

Последнее время много времени посвящаю AI/ML/LLM R&D и за полтора года потратил больше $ 5 000 из своего кармана на эксперименты с AI-агентами для пентеста. Лично оплачивал API-токены, подписки на OpenAI, Anthropic, Google, OpenRouter, Cursor, а ещё покупку ПК под инференс и обучение локальных моделей. Проверил пять инструментов на реальных и учебных задачах, и ни один не остался в постоянной работе. Ниже расскажу, почему, и поделюсь выводами.

Чем агенты отличаются от ассистентов

AI-пентест делится на два направления:

• AI-агенты — автономные системы, которые сами принимают решения и двигаются по цепочке атаки. Пользователь задаёт цель и контролирует процесс, но работу делает AI. Большинство инструментов в этой статье — агенты.
• AI-ассистенты или чат-боты — системы, которые только подсказывают. Вы вводите вывод nmap, ассистент анализирует его и предлагает следующий шаг. Вы его выполняете, возвращаете результат, и ассистент думает дальше. Классический пример — PentestGPT.

Для каких задач подойдут AI-агенты

Я начинал эксперименты с ожиданием, что AI-агент возьмёт на себя хотя бы часть пентеста. На деле всё оказалось сложнее. Вот что я выяснил.

AI ускоряет рутину. Он быстро справляется с разведкой, первичным сканированием, сбором информации о цели, перебором стандартных проверок, созданием отчётов и анализом больших объёмов данных. Например, CAI ускорил этап разведки до 3 600 раз по сравнению с ручной работой:

• Исследование Cybersecurity AI: The World’s Top AI Agent for Security CTF

AI не заменяет мышление пентестера. Креативные атаки, эксплуатация бизнес-логики, нетривиальные цепочки — здесь агенты пасуют. Для настоящего пентеста надо понимать контекст: какие данные критичны, как устроен бизнес-процесс, где скрыта нестандартная точка входа. AI этого не понимает: он хорош в паттернах и плох в импровизации.

Почему автономия — пока скорее маркетинг: разбираю на примере XBOW

Я слабо верю в полностью автономных AI-хакеров для обычных компаний. Специальные разработки для госструктур не в счёт — там другие бюджеты и задачи.

Например, XBOW — это условный лидер индустрии, который привлёк $117M от Sequoia Capital. На бумаге впечатляет: первое место на лидерборде HackerOne, результаты на уровне опытного пентестера. Но если копнуть глубже:

• Он возглавил не Bug Bounty, а лидерборд Vulnerability Disclosure Program, где конкуренция меньше.
• Точность отчётов около 37.5%: только 1 из 3 валиден.
• За «полностью автономным» AI стоит команда, которая проверяет все отчёты. Основатель XBOW уже подтвердил, что люди направляют, промптят и валидируют находки. Причём типы находимых уязвимостей (RCE, SQLi, XSS, SSRF) — это хлеб и масло обычных DAST-сканеров, которые существуют 20 лет. Отсюда и дороговизна XBOW: нужно окупать не только токены, но и команду за кулисами.

Подытожим: AI-агент — это ускоритель рутины, а не замена пентестера. Он полезен для разведки и первичного сканирования, но не поможет, когда нужно думать нестандартно. Теперь разберём конкретные инструменты.

Кейс 1. CAI — лидер по бенчмаркам, но для меня слабоват

CAI (Cybersecurity AI) от Alias Robotics — фреймворк с серьёзными достижениями на соревнованиях: победа в NeuroGrid CTF, первое место в Dragos OT CTF, лидерство в Hack The Box AI Track. Поддерживает 300+ моделей через LiteLLM, включая открытые через Ollama.

• GitHub: CAI

В чём главная фишка. Режим Human-In-The-Loop (HITL). В любой момент можно прервать агента (Ctrl+C), скорректировать действия или взять управление на себя. Есть три режима: в ручном агент предлагает команды, а вы их подтверждаете, в полуавтоматическом подтверждение есть только на критических этапах, в полностью автоматическом агент действует сам.

Как я использовал. Тестировал CAI на собственных лабораторных стендах и CTF/HTB, были попытки на российских багбаунти-площадках. На реальные проекты запускать не стал: был риск повредить инфраструктуру заказчика.

Результаты — ничего особенного. Ничего такого, что я не нашёл бы сам быстрее. CAI скорее хорош как академический инструмент: можно изучить, как устроены AI-агенты, разобраться в архитектуре, поэкспериментировать с моделями. Но для моих практических задач он оказался слабоват.

Сколько потратил. $100 на API-токены и значительное время на локальный инференс LLM.

Что понравилось:

• HITL-режим даёт контроль: не чувствуете себя наблюдателем за чёрным ящиком.
• Guardrails — правила, блокирующие опасные команды (rm -rf, shutdown), что полезно для работы с продакшн-средами.
• Поддержка MCP для подключения внешних инструментов, например Burp Suite.

Что не понравилось:

• На реальных задачах результаты скромнее, чем на CTF-бенчмарках.
• На боевую инфраструктуру запускать страшно: нет уверенности, что агент не навредит.

Почему не остался в работе. Хорош для изучения и экспериментов, но для моих задач недостаточно практичен.

Кейс 2. PentAGI — лучшая архитектура из всех, что я видел

PentAGI от VXControl стартовал в январе 2025-го, написан на Go, разворачивается через Docker Compose. Пока писалась эта статья, проект вышел в релиз 1.0.0, а затем и 1.1.0, что говорит о серьёзных намерениях команды.

• GitHub: PentAGI

В чём главная фишка. На мой взгляд, это лидер по продуманности архитектуры и стабильности работы среди инструментов, что я тестировал.

• Интересная архитектура. Тут четыре вида памяти: долговременная, рабочая, эпизодическая и база знаний. Эпизодическая память на PostgreSQL с pgvector позволяет учиться на прошлых сессиях. Например, агент нашел эксплойт для Apache 2.4.49, запомнил его и попробует в следующий раз при встрече с такой же версией. Также интегрирован Graphiti — граф знаний на Neo4j для семантического отслеживания связей.
• Многоагентная система. Researcher ищет информацию, Developer пишет скрипты, Executor выполняет команды. Внутри более 20 инструментов, например nmap, metasploit, sqlmap, nikto, и все в изолированной Docker-среде. Есть веб-интерфейс на React и поддержка нескольких LLM-провайдеров, включая Amazon Bedrock.

Как использовал. Тестировал аналогично CAI, на лабораторных стендах и CTF.

Результаты похожие: на учебных задачах работает, но для боевого применения пока не дотягивает.

Сколько потратил. Сопоставимо с CAI: до $100 на API плюс время на локальный инференс.

Что понравилось:

• Идея эпизодической памяти.
• Веб-интерфейс: для наблюдения за работой агента это удобнее, чем командная строка.
• Изоляция в Docker: не страшно дать агенту поработать на хосте.

Что не понравилось:

• Полная автономность звучит хорошо в описании, но на практике агент иногда зацикливается
• Для боевого применения на реальной инфраструктуре пока рискованно

Почему не остался в работе. Пока слабоват для моих задач, но из всех инструментов в статье за PentAGI буду следить пристальнее всего. Я заочно знаком с создателем проекта, мне нравится, как он мыслит и как планирует пентест.

Кейс 3. Strix — дорого и метко, когда работает

Strix специализируется на AppSec и интеграции в CI/CD: можно повесить на pull request в GitHub Actions, и он заблокирует merge, если найдёт подтверждённую уязвимость. Есть облачная версия (Pro за $750 в месяц) и open-source для локального запуска.

• GitHub: Strix

В чём главная фишка. Философия Zero false positives: когда инструмент находит подозрительное место в коде, он генерирует реальный PoC-эксплойт и запускает его в изолированной Docker-песочнице. Уязвимость попадает в отчёт, только если эксплойт сработал.

Сколько потратил. Один скан обойдётся от $50 до $500 в зависимости от сложности приложения. Я не тратил API-токены напрямую, а использовал подписку Claude MAX x5 (100$). Но даже этого уровня подписки не хватило на день работы: постоянно упирался в лимиты.

Что понравилось:

• Подход Zero false positives экономит время на ручной верификации.
• Интеграция в CI/CD реально работает.
• Готовые PoC в отчёте: можно сразу показать разработчику, что и как эксплуатируется.

Что не понравилось:

• Дорого. Очень дорого. Claude MAX x5 не хватает даже на день работы.
• Риск для аккаунта: SOC Anthropic может забанить за offensive-промпты, а я использовал личный аккаунт.

Почему не остался в работе. Стоимость не оправдывает результат. Со временем я научился оптимальнее промптить модели и экономить токены, и возникает вопрос: в чём плюс проекта, если я могу форкнуть его и улучшать сам?

Кейс 4. Shannon — 96% на бенчмарке, но белый ящик

Shannon от Keygraph — white-box инструмент. Под капотом многоагентная архитектура: AuthAgent, SQLiAgent, XSSAgent, SSRF-Agent и OrchestratorAgent, который всем управляет. Использует Claude Agent SDK как ядро рассуждения.

Результат на бенчмарке XBOW — 96,15%: это 104 реальных эксплуатируемых веб-уязвимости из open-source проектов. Опытный пентестер набирает 85% за неделю, а Shannon справляется за час-полтора. На OWASP Juice Shop нашёл 20+ критических уязвимостей, включая полный обход аутентификации.

• GitHub: Shannon

В чём главная фишка. Работает по принципу Proof by Exploitation и требует доступ к исходному коду. Анализирует кодовую базу, строит граф зависимостей, находит маршруты, модели данных, middleware, механизмы аутентификации и затем пытается реально проэксплуатировать слабые места.

Как использовал. Если честно, Shannon показался мне наиболее слабым из всей пятёрки, хотя его очень активно форсили в Telegram и запрещённых в РФ соцсетях.

Никаких ощутимых результатов я не получил, и интерес быстро пропал. Лучше уж тупая автоматизация на bash — предсказуемо и бесплатно.

Сколько потратил. Около $60–70 на API. Разработчики заявляют ~$50 за полный прогон.

Что понравилось:

• Отчёт с готовыми cURL-запросами для воспроизведения: разработчик может сразу проверить
• Подход Proof by Exploitation: нет PoC, нет отчёта

Что не понравилось:

• Требует исходный код
• Не подходит для black-box пентестов
• Двойное лицензирование: Lite (AGPL-3.0), Pro (коммерческая)

Почему не остался в работе. Самый слабый инструмент из пятёрки по соотношению «хайп/результат»: я не получил ничего, чего не нашёл бы простым bash-скриптом.

Кейс 5. Vulnhuntr — охотник за 0-day в Python

Vulnhuntr от Protect AI — статический анализатор Python-кода, который ищет удалённо эксплуатируемые уязвимости с помощью LLM. Методология такая: инструмент разбивает код на фрагменты и находит файлы, обрабатывающие пользовательский ввод, затем Claude анализирует каждый потенциально опасный путь от точки входа до sink. Для всех находок генерирует PoC и оценку уверенности от 1 до 10: например, выше 7 — вероятная уязвимость, 8 — почти наверняка.

• GitHub: Vulnhuntr

В чём главная фишка. Это первый AI-инструмент, который автономно нашёл реальные 0-day в популярных проектах: CVE в gpt_academic (67k звёзд, LFI и XSS — CVE-2024-10099), ComfyUI (66k звёзд, XSS — CVE-2024-10131), Langflow (46k звёзд, RCE и IDOR), FastChat (37k звёзд, SSRF), Ragflow (31k звёзд, RCE).

Как использовал. Мне удалось найти Stored XSS в популярном AI-продукте на GitHub с 55k+ звёзд — CVE/БДУ я не регистрировал, поэтому проект не называю.

Это именно тот результат, который я хотел бы видеть от AI-сканеров: такой вектор эксплуатации SAST’ом вряд ли отловите, DAST’ом — может быть, но вопрос, каким именно. Я не знаю инструментов, которые нашли бы такую, по факту, простую багу автоматически.

Сколько потратил. Около $200 ушло на оплату токенов, также пробовал прикрутить подписку AI-агента — инструмент открытый, но каждый запуск стоит денег за Claude API.

Что понравилось:

• Работающий гибридный подход: статический анализ кода + LLM.
• Анализирует всю цепочку вызовов между файлами, а не отдельные фрагменты.
• Работает с Anthropic, OpenAI и Ollama, хотя с Claude результаты лучше.

Что не понравилось:

• Только Python.
• Из-за багов в Jedi строго требует Python 3.10.
• LLM недетерминирован: два запуска на одном проекте дают разные результаты.
• Большинство находок оказываются невалидными. Полностью автоматический поиск уязвимостей пока не работает.

Почему не остался в работе. Из всех инструментов Vulnhuntr показал лучший конкретный результат. Но я отказался от инструмента, потому что решил вложить время в собственные разработки, а не допиливать чужой проект.

Что в итоге

Итак, что я получил после полутора лет экспериментов и $5 000, потраченных на токены, подписки и железо?

Что осталось в работе. Ни один из инструментов, по разным причинам. Это не значит, что они плохие, просто я пока не нашёл, как встроить их в рабочий процесс. Вот краткое сравнение:

Какой ключевой вывод. Гибридный подход побеждает. Автономный агент, работающий сам по себе, проигрывает классическому пайплайну с точечным применением AI. Почему:

• Детерминированность. Классический пайплайн (nmap -> nikto -> sqlmap -> …) даёт предсказуемые результаты. AI-агент на каждом запуске может пойти по разному пути — это неприемлемо, когда нужна повторяемость.
• Стоимость. AI-агент тратит токены на рассуждения, ошибочные гипотезы, зацикливание. Гибридный подход — только на то, что AI делает лучше людей: анализ результатов, приоритизацию, отчёты.
• Контролируемость. Когда агент работает автономно, вы не всегда понимаете, что и зачем он делает. Гибридный подход даёт полный контроль.

Какие модели использовать. На реальном опыте могу выделить четыре general-модели, которые лучше всего подходят для задач из этой статьи: Claude Sonnet 4.5, Claude Opus 4.5, Gemini 3.5 Pro и GPT-5.2 Codex. Остальные либо слишком слабые для анализа кода и построения цепочек атак, либо слишком дорогие без ощутимого прироста качества.

Стоит ли обучать свои модели для пентеста. Я пробовал, и без финансирования проекта это не имеет смысла. Если у вас уже есть финансовые ресурсы или доступ к множеству GPU/TPU/NPU для инференса — игра стоит свеч. Но если вы, как и я, обладаете только желанием и стремлением, советую начать с базы: ML, MLFlow, основы LLM, как работают трансформеры и так далее.

Я как специалист, который изначально повёлся на хайп, был огорчён реальными результатами, скрытыми за сотнями слоёв маркетинга. А отличить его от настоящих результатов без реального понимания дела очень сложно.

Что дальше. После этих кейсов я понял, что универсальный AI-агент — это утопия. Работает только гибридный подход: детерминированный пайплайн и точечное применение ML/LLM там, где детерминированные методы не справляются.

Именно это показал Vulnhuntr, именно к этому стремится PentAGI со своей архитектурой памяти, и именно это я строю для себя.

Я допиливаю свой pentest pipeline на Go, множестве regex и интеграций. Заброшенные Python-инструменты переписал на Go, примеры форков можно найти на моём GitHub. Следующий шаг — внедрение ML для случаев, когда regex не справляется. А дальше только локальные LLM, причём меня интересуют SLM размером 8-14 миллиардов параметров с классической архитектурой Plan+ReAct, заточенные под каждую конкретную маленькую задачу.