AI в деле: кейсы внедрения и гайд по автоматизации

AI в информационной безопасности: какую рутину отдать первой

Сильнее всего искусственный интеллект в информационной безопасности ускоряет рутину: монотонные повторяющиеся действия, которые съедают рабочий день. Это всё, что связано с документацией: проверка, составление, переписывание, объединение документов. Сюда же отчёты, презентации, диаграммы, деловая переписка и хронология событий. Даже локальная модель (LLM) на ноутбуке сделает это быстрее, чем ты руками.

Изучение незнакомого сервиса раньше означало документацию, мануалы и форумы. На лабораторной машине или в CTF на это уходило около двух часов. Теперь документацию можно отдать модели и минут за десять получить набор векторов, которые стоит проверить.

Если ещё не применял AI в работе, начни с простых задач: выигрыш виден уже здесь, а когда его станет мало, будет понятно, куда идти дальше.

Четыре мифа об ИИ в кибербезопасности

Начать работать с нейросетями чаще всего мешают четыре заблуждения.

• AI заменит специалистовНет. Компании, которые увольняли сотни программистов, через какое-то время нанимали людей обратно: агенты полезны, но человека целиком не заменяют.
• AI пока слишком глупый, надо подождатьОшибается он действительно много, но уже сейчас достаточно зрелый, чтобы приносить пользу, если помнить о нюансах. Кто ждёт, рискует отстать.
• Это волшебная кнопкаМодель ускоряет конкретные задачи, помогает что-то выучить или сделать быстрее, но всё одним нажатием за тебя не сделает.
• Нужна сложная техническая подготовкаПользоваться можно на любом уровне, наращивая навыки шаг за шагом.

Сквозная мысль на всём пути, от идеи до применения: результат AI это всего лишь черновик или набросок. На каждом этапе человек должен сам проверять, не несёт ли агент или сервис ерунду.

Евгений Строев

AI-агенты и галлюцинации: как модель делает то, о чём не просили

Кейсов, когда AI-агенты ломали то, что не должны были, уже много. Обычно это случается, когда человек перестаёт проверять, что агент собирается делать.

• Агенту отдали управление почтовым ящиком. В какой-то момент он начал удалять всю входящую почту, и остановить его пользователь не смог.
• Агентам давали доступ к продакшен-серверам. Первые раза три всё работало, потом агенты начинали удалять базы и серверы, потому что так, по их логике, проблему решить проще. На восстановление уходило намного больше времени, чем сэкономила автоматизация.
• Модель уверенно предлагает вызвать метод API, которого не существует. Только после вопроса, почему ничего не работает, она сверяется с официальной документацией и признаёт ошибку.
• Агент не нашёл нужный параметр API и начал перебирать параметры сам, от имени пользователя. По рукам за это получил человек.
• Модель попросили пройти тесты по безопасности. Она решила, что проще найти готовые ответы в стороннем сервисе, и попыталась его взломать.
• Агенту велели проанализировать один текстовый файл и больше ничего не трогать. Он скачал себе все файлы, которые лежали рядом.

Галлюцинации нейросети случаются и в безобидных задачах. Презентация, собранная с помощью AI, получила лишний слайд с запасным сценарием, о котором никто не просил. А при составлении семейной генеалогии ChatGPT дорисовал на одной из картинок несуществующего человека и признался в этом только после нескольких уточнений.

Скорость это классно. Но всегда нужно быть контролирующим звеном в этой цепочке: проверять, что модель хочет запустить, зачем она это хочет сделать и не ерунду ли она делает.

Евгений Строев

Шесть ступеней: от чата с нейросетью к автономным агентам

Освоение нейросетей идёт по шести ступеням, и на каждой AI уже приносит пользу.

• СобеседникЧат, где ты спрашиваешь, а модель отвечает. По сути продвинутый поиск: спросил про уязвимости незнакомого протокола и получил текст для изучения.
• РедакторПлагины и расширения, которые правят запросы, документы, таблицы, презентации и код.
• АвторМодель создаёт новое, например пишет под задачу скрипт, который ты сам запускаешь.
• ОператорAI сам действует в инструментах: в консоли, интерпретаторе Python, на диске, в почте. Ты даёшь доступ и цель, он пишет код, запускает его и исправляет ошибки.
• АгентАвтономный помощник, который выполняет задачу сам и максимум спрашивает разрешения на действия от твоего имени.
• ОркестраторНесколько агентов с ролями и отдельный агент, который следит за ними и распределяет задачи.

Перепрыгивать ступени не стоит: исчерпал всё, что можно улучшить на текущем этапе, переходи к следующему.

Без опыта с промптами непонятно, зачем нужны скиллы и плагины и почему агент ходит по кругу, тратит токены и ничего не делает. Рабочий путь такой:

1. 1

   Задавай вопросы в чате.

2. 2

   Напиши промпт, который выдаёт ответ в нужной структуре.

3. 3

   Подключи инструменты, которые сами пишут и чинят код.

4. 4

   Переходи к скиллам.

5. 5

   Когда писать скилл под каждую задачу надоест, подключи агента, который пишет скиллы сам.

Чем чётче ты описываешь инструкцию, чем конкретнее выделяешь каждому агенту его задачу и объясняешь, что и в каком виде хочешь, тем эффективнее будет вся работа с AI.

Евгений Строев

Где нейросеть уже экономит часы: IOC, запросы к SIEM, CVE и разведка

В защите и разведке AI уже снимает задачи, на которые раньше уходили часы.

• Индикаторы компрометацииВ отчётах о группировках, которые атакуют банки, финансовые компании или госсектор, много IOC. Раньше PDF разбирали скриптами на Python, чтобы вытащить индикаторы для средств защиты. Теперь документы можно отдать модели и сразу получить список в нужном формате для загрузки.
• Разбор подозрительного кодаОбфусцированные скрипты на PowerShell или JavaScript, попавшие в инфраструктуру, с моделью разбираются быстрее, даже если ты не знаешь язык.
• Запросы к DLP, SIEM и любым системам с консольюСинтаксис, на который раньше уходили часы, модель объясняет за минуту и даёт шаблон запроса под твои данные. То же с SQL и разницей между видами JOIN.
• Карточка уязвимостиВместо кучи открытых сайтов один запрос по CVE даёт уровень риска, причину появления, способ эксплуатации и наличие публичных PoC.
• РазведкаЕсли не помнишь флаги утилит, промпт или скилл подскажет готовую команду. Выводы Subfinder и httpx модель сведёт вместе, отметит административные сервисы и интересные хосты и предложит следующие команды. Раньше для этого собирали связку скриптов на Python или bash-пайплайн.

Если модель не знает синтаксис твоей системы, дай ей мануал или описание, и она разберётся в правилах получения событий. Но только если загружать такие документы не запрещено и в них нет чувствительных данных.

Как писать промпты: структура меняет результат

Пример того, как писать промпты для нейросети: документация к собственной утилите на Python. Описывать свои скрипты для коллег долго, часть деталей забывается. Запрос «помоги составить документацию» с приложенным кодом дал короткий текст не в том формате и не на том языке. Модель переспрашивала, что именно нужно, а о том, что документация нужна на английском, просто не знала.

Тот же код с промптом, где перечислено содержание документа, дал нужный результат без уточнений: общее описание, цели, функции, требования, установка, примеры использования, всё в Markdown. Такой промпт пишется за несколько минут.

Без контекста модель додумывает: незнакомую аббревиатуру она переведёт по-своему, если не объяснить, о чём речь и из какой ты области.

К каркасу промпта добавь ограничения: что модели делать нельзя, чтобы она не додумывала, и что делать в пограничных случаях. Результат проверяй.

Когда один и тот же большой промпт нужен постоянно, вставлять его каждый раз неудобно и дорого по токенам. Следующий шаг: оформить его как скилл в проекте или отдать инструкции отдельному агенту. Есть и фреймворки, которые сами обновляют скиллы по ходу работы. Рекомендации по промптам быстро меняются, так что промпт это база, а не догма.

CTF с AI-агентами: что показал Hack The Box

Hack The Box позиционирует AI на своей платформе и в своих CTF как второго пилота: разбирать ошибки, генерировать идеи и векторы.

Год назад человеческие команды решали задачи равномерно, примерно по десятку в день, и к концу недели топовые команды закрывали весь набор. В этом году график выглядел как вертикальная полоса в первый день: значительная часть задач ушла в первые часы. Скорее всего, подготовленные команды заранее собрали инфраструктуру агентов и пайплайны, а потом один раз запустили управляющего агента. Тот сам читал условия, получал доступ к стендам и сдавал флаги.

При этом часть задач осталась нерешённой до последнего часа соревнований. И чтобы дойти до уровня оркестратора, промежуточные ступени всё равно придётся пройти.

Облачная или локальная LLM: утечки данных и prompt injection

Облачные нейросети, скорее всего, обучаются на том, что в них отправляют, и гарантий здесь нет.

Секреты, токены, персональные данные, данные компании, отчёты по пентестам, найденные уязвимости и PoC в облачные сервисы не отправляй. Сомневаешься, не отправляй.

• При пентесте (тестировании на проникновение) подписывают NDA. Данные заказчика на чужом сервере могут попасть в обучение модели, а потом по найденным тобой уязвимостям к компании придут атакующие агенты.
• Локальная модель с ограниченным доступом в интернет повышает гарантию приватности. Ей нужен мощный ноутбук, отдельное железо или сервер.
• Западные модели могут заблокировать сессию или аккаунт на задачах по кибербезопасности. Влияют IP из стран СНГ, сам аккаунт и вопросы, а при настойчивых попытках обойти ограничения бан приходит быстрее.
• Промпты и скиллы с GitHub и из Telegram-каналов могут содержать prompt injection. В Cursor находили уязвимость: код с GitHub со встроенной инъекцией приводил к удалённому выполнению кода на хосте. Исходи из того, что в материалы из интернета могли подложить вредоносные инструкции.

Как начать использовать ИИ в работе

С чего начать завтра, зависит от того, на какой ступени работы с ИИ ты сейчас.

• Никогда не пользовался AI: возьми готовые промпты и попробуй их на своих задачах.
• Уже работаешь с промптами и скиллами: посмотри, что ещё можно улучшить в привычном порядке работы. Возможно, пора к агентам, и тогда те же инструкции оформляются структурированными файлами в проекте.
• Уже работаешь с агентами: попробуй рой агентов и режим, где агент действует сам, а ты контролируешь только итог, без промежуточных шагов вроде исправления ошибок.

Пара практических деталей. Для повторяющихся задач с известными инструментами прямой вызов API экономнее по токенам, чем MCP, а для поиска по Confluence или базе знаний MCP работает лучше. Промпты и скиллы на английском тратят меньше токенов, чем на русском. С агентами удобнее работать в консоли или в Cursor, чем в PyCharm.