Методы обогащения событий информационной безопасности с помощью CRIBL и MISP

Размещено на http://www.allbest.ru/

МЕТОДЫ ОБОГАЩЕНИЯ СОБЫТИЙ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ С ПОМОЩЬЮ CRIBL И MISP

Гумеров Б.З.

Аннотация

В 2022 году в Российской Федерации очень актуальна проблема максимально оперативной защиты от кибератак, так как они организованно и тщательно планируются и становятся все более мощными. Для защиты от них требуется как можно быстрее получать информацию о подозрительных индикаторах компрометации, например, IP-адресах, DNS-записях, SHA1/SHA256/MD5 хешах файлов, адреса электронной почты и другие. От того, насколько быстро будут выявлены и заблокированы индикаторы компрометации, зависит безопасность и работоспособность всех сервисов организации. В статье предоставлен метод интеграции Cribl с MISP для автоматизированного насыщения событий информационной безопасности с целью максимально оперативной защиты от самых новых вредоносных индикаторов компрометации, используемых организованными хакерскими группировками при большом ежедневном количестве входящего трафика.

Ключевые слова: Cribl, MISP, информационная безопасность, GeoIP, IoC, SIEM.

Abstract

METHODS FOR THE ENRICHMENT OF INFORMATION SECURITY EVENTS USING CRIBL AND MISP.

Gumerov B.Z.

In 2022, the problem of maximum operational protection against cyber attacks is very relevant in the Russian Federation, as they are organized and carefully planned and become more and more powerful. To protect against them, you need to receive information about suspicious indicators of compromise as soon as possible, such as IP addresses, DNS records, SHA1/SHA256/MD5 hashes of files, email addresses, and others. The security and performance of all services of the organization depends on how quickly indicators of compromise are identified and blocked. The article provides a method for integrating Cribl with MISP for automated saturation of information security events in order to provide maximum operational protection against the latest malicious indicators of compromise used by organized hacker groups with a large daily amount of incoming traffic.

Keywords: Cribl, MISP, information security, GeoIP, IoC, SIEM.

Введение

В сегодняшних реалиях растет количество хакерских атак, они становятся все более ухищренными и массированными. Так, по данным исследований компании Positive Technologies, количество кибератак в 2021 году увеличилось на 6,5 процента по сравнению с 2020 годом: «Злоумышленники стали чаще атаковать системы хранения данных, пользоваться опасными уязвимостями и продолжают беспокоить частных лиц. В 2021 году 86% всех кибератак было направлено на организации. В тройку самых популярных у хакеров вошли госучреждения (16% от всех атак), медучреждения (11%) и промышленные компании (10%)» [1]. К сожалению, эти тренды актуальны и в 2022 году. За первые пять месяцев 2022 года по данным «Лаборатории Касперского» количество хакерских атак на государственные органы увеличилось в 10 раз.

Отдел информационной безопасности использует один инструмент для сбора событий информационной безопасности, IT отдел использует второе программное обеспечение для сбора ошибок, системных и бизнес метрик. Каждый из этих инструментов использует свои собственные форматы и механизмы для сбора машинных данных и, как правило, они не совместимы друг с другом. Всё это приводит к усложнению системы и необходимости установки 2-3 агентов на каждом из серверов. Несомненно, что в подобной ситуации было бы здорово иметь один-единственный инструмент для сбора всех этих данных и централизованную консоль для управления потоками этих данных.

CRIBL

Такое решение есть, это Cribl. Cribl позволяет собирать, анализировать, насыщать логи и метрики в форматах JSON, XML, syslog, Kafka, Splunk, Elasticsearch, S3, Statsd, Prometheus, Datadog, Windows event forwarder, RAW HTTP и другие. Cribl позволяет оптимизировать логи путем их сжатия, уменьшения их объема за счет исключения ненужных либо пустых полей, защищать конфиденциальную информацию, такую как номера документов (паспорта, номера водительских удостоверений, дипломы и т.п.) либо кредитных карт путем редактирования или обфускации, а также добавлять больше контекста к данным с помощью внешних источников. Бесплатная лицензия Cribl позволяет обрабатывать до 1 Тб лог-файлов в сутки для одной компании, однако если есть необходимость в обработке более 1 Тб данных, то будет необходимо приобрести лицензию у поставщика. Для простоты запуска Cribl можно воспользоваться официальным контейнером Docker с помощью одной команды:

docker run cribl/cribl -p 9000:9000

После запуска Cribl веб-интерфейс будет доступен на порту 9000

MISP

Это популярная платформа threat intelligence с открытым исходным кодом, разрабатываемая на PHP с начала 2011 года Андрасом Айклоди [5]. Платформа позволяет хранить, автоматически коррелировать и анализировать индикаторы компрометации (IoC), данные о вредоносном ПО, информацию об инцидентах информационной безопасности, хакерах и хакерских группировках [6]. Использование данной платформы не требует приобретения коммерческой лицензии. MISP хранит техническую информацию о замеченных другими профессиональными сообществами по информационной безопасности индикаторами компрометации, такими как фишинговые сайты, спаммерские адреса электронной почты, IP-адреса вредоносного ПО и пунктов управления ботнетами (C&C), эксплоиты для Metaspliot framework, выходные ноды Tor и т.п. [7]. Эта информация содержится в фидах CIRCL, PISAX, Cyber Security Sharing and Analytics (CSSA), Symantec/Broadcom DeepSight Intelligence, Kaspersky threat feeds, McAfee Active response, NATO MISP Community и другие. Поддерживается экспорт/импорт в форматах OpenIOC, GFI sandbox, JSON, CSV, IDS (Suricata, Snort и Bro), а также гибкий API для автоматического взаимодействия на программном уровне, которые мы и будем использовать для обогащения данных в Cribl [1].

В статье изложен процесс насыщения информацией о вредоносных IP-адресах, DNS-записях, SHA1/SHA256/MD5 хешей файлов, полученных из MISP с помощью Cribl, которая затем будет использована в SIEM Splunk и Elasticsearch, межсетевых экранах Cisco и PaloAlto, почтовом сервере и прочих сервисах компании. база данных кибератака компрометация

MISP можно запустить внутри контейнера Docker, разработанного Cornet Arbos в Политехническом университете Каталонии [9].

Кроме того, можно добавлять информацию о местонахождении клиента с помощью библиотеки GeoIP, что позволяет узнать по IP-адресу страну, город и примерный район [8].

REDIS

Для кеширования запросов об индикаторах компрометации будет использована простая база данных Redis с открытым исходным кодом. Кеширование необходимо для снижения нагрузки на API MISP, так как поиск каждого индикатора будет занимать некоторое время, что приведет к очень медленной работе Cribl, а это недопустимо в высоконагруженных центрах киберзащиты. Сервер Redis должен быть расположен как можно ближе к кластеру Cribl для снижения времени отклика системы при большом входящем объеме трафика, в нашем случае он расположен в той же подсети, что и Cribl, и мы успешно обрабатываем трафик объемом более 20 терабайт в день.

Насыщение информации об индикаторах компрометации

Cribl выполняет роль сборщика/маршрутизатора логов от конечных устройств, таких как файрволлы, серверы, приложения, базы данных, клиентские устройства до систем SIEM Splunk или Elastic-stack для обеспечения информационной безопасности в реальном времени 24/7 и озера данных для долгосрочного хранения большого объема данных и снижения стоимости эксплуатации SIEM за счет более дешевых дисков и облачных служб. Elastic-stack позволяет построить систему SIEM для сбора, хранения и индексации информационной безопасности, однако не обладает таким большим количеством доступных приложений для анализа логов, как Splunk [10]. Подробнее о развертывании кластеров SIEM Splunk можно ознакомиться в статье [2]. Облачные сервисы вроде AWS Deep Glacier взимают всего 1 доллар за хранение 1 терабайта данных в течение месяца и обеспечивают доступность на уровне 99,99%.

Рис. 1. Архитектура решения

Для сбора IoC из MISP можно использовать API, для этого посредством вебинтерфейса Cribl переходим в раздел Data=>Sources=>Collectors=>REST и создадим новый REST API коллектор. Чтобы получить только IP адреса, воспользуемся HTTP эндпоинтом /attributes/restSearch и фильтрами, описанными в документации [4], а для уточнения того факта, что нам необходимы только подтвержденные IoC с рейтингом 100%, воспользуемся фильтром Confidence score=100, c внутренним ID 7071:

Рис. 2. Настройки REST API коллектора в Cribl

Аналогично добавляются коллекторы для DNS, e-mail, хешей и прочих типов IoC. После создания коллектора можно проверить его работоспособность, нажав на кнопку Run, и через несколько секунд мы увидим вредоносные IP-адреса из базы MISP:

Рис. 3. Результаты работы коллектора

Затем нам нужно сохранить в кэш полученные результаты, предварительно обработав и очистив их от ненужных полей.

Мы будем использовать в пайплайне функцию Cribl Redis Set для записи значений IoC в соответствующую базу данных Redis, например, у нас используется БД №0 для доменов DNS, БД №1 для IP-адресов, БД №2 для адресов электронной почты и т.п.

Итак, теперь с помощью функции Cribl Redis Get мы можем получить из кэша Redis IoC, например, мы можем выделить подозрительные IP-адреса в логах файрвола PaloAlto и помечать их в отдельном поле malicious.

Рис. 4. Индикаторы компрометации в кеше Redis

Рис. 5. Обнаружение подозрительного IP-адреса

Использование функционала GeoIP позволяет узнать местоположение клиента, подключенного к интернету, зная лишь его внешний IP-адрес. Это может быть полезно для установки фильтрации клиентов по их адресу, региону или стране [8]. Также можно добавлять GeoIP-данные посредством одноименной функции, здесь мы будем искать IP-адрес в поле src_ip и добавим новое поле src_geoip:

Рис. 6. Добавление информации о местоположении клиента

Заключение

В статье была показана процедура насыщения логов с помощью внешней базы данных с индикаторами компрометации, MISP и добавлением геоинформации о местоположении клиентов. Это облегчит процесс анализа больших массивов данных по информационной безопасности, позволит своевременно выявлять индикаторы компрометации и предотвращать кибератаки.

Список литературы / References

1. Turriff Bryan. Observability Pipelines For Dummies, Cribl Special Edition / Bryan Turriff Birmingham, US: John Wiley & Sons, Inc., 2021. 43 p. [Электронный ресурс]. Режим доступа:https://info.criЫ.io/rs/781-YMF-705/images/CriЫObservability-Pipelines-For-Dummies.pdf/ (дата обращения: 19.08.2022).

2. Гумеров Б.З. Автоматизация развёртывания геораспределенных кластеров Splunk c помощью Terraform и Ansible. / Б.З. Гумеров // Universum: технические науки, 2022. 5-2(98). С. 1-4. doi: doi.org/10.32743/unitech.2022.98.5.13795.

3. Курбатов М. Количество «нападений» на компьютеры растет. [Электронный ресурс] / М. Курбатов // Количество "нападений" на компьютеры растет, 2022. № 105. Режим доступа: https://rg.ru/2022/05/17/kolichestvo-napadenrj-na-kompiuteryrastet.html/ (дата обращения: 01.07.22).

4. Automation and MISP API // Automation and MISP API, 2022. [Электронный ресурс].

Режим доступа: https://www.circl.lu/doc/misp/automation/#get-events/ (дата обращения: 08.07.22).

5. Wagner C. MISP: The Design and Implementation of a Collaborative Threat Intelligence Sharing Platform. / C. Wagner, A. Dulaunoy, G. Wagener et al. // WISCS '16: Proceedings of the 2016 ACM on Workshop on Information Sharing and Collaborative Security, 2016. 1. Р. 49-56. doi: doi.org/10.1145/2994539.2994542.

6. Rhoades D. Machine actionable indicators of compromise. / D. Rhoades // Machine actionable indicators of compromise, 2014. [Электронный ресурс]. Режим доступа: https://ieeexplore.ieee.org/abstract/document/6987016. ((дата обращения: 02.07.22).

7. Al-Ramahi M. Exploring hackers assets: topics of interest as indicators of compromise. / M. Al-Ramahi, I. Alsmadi, J. Davenport // HotSoS '20: Proceedings of the 7th Symposium on Hot Topics in the Science of Security, 2020. 5. Р. 1-4. doi: doi.org/10.1145/3384217.3385619.

8. Поршнев С.В. Картографический модуль для визуализации местоположения IPадресов. / С.В. Поршнев, О.А. Пономарева, Э.В. Соломаха // Вестник Балтийского федерального университета им. И. Канта. Серия: Физико-математические и технические науки, 2020. 1. С. 30-36.

9. Котенко И.В. Система сбора, хранения и обработки информации и событий безопасности на основе средств Elastic Stack.. / И.В. Котенко, А.А. Кулешов, И.А. Ушаков // Труды СПИИРАН, 2017. 5(54). doi: doi.org/10.15622/sp.54.1.

Размещено на Allbest.ru