Релиз 4.5
Попробуем разобраться что нового в KOMRAD Enterprise SIEM 4.5, чем он лучше.
Не так давно мы выложили план релиза в открытый доступ, продублируем здесь
Визуализация нацелена показать общее количество и направление изменений, здесь же мы попробуем обратить внимание на детали. Начнём с нового
Пакет экспертиз в UI
По мере развития продукта, мы столкнулись с накоплением экспертного контента и потребностью в его обмене как с нашими экспертами, так и с пользователями. Ранее мы использовали неудобный способ вставки подготовленных правил напрямую в базу данных. Однако было очевидно, что такой подход не удовлетворяет потребностям наших экспертов и пользователей. В связи с этим, мы разработали возможность экспорта и импорта директив, фильтров, плагинов и полей событий через графический интерфейс.
При импорте мы также проводим проверки на наличие конфликтов в правилах. Например, если пытаемся добавить директиву с уже существующим именем в системе. В таких случаях предоставляется выбор - автоматически разрешить конфликт или не импортировать правило.
Эта задача тесно связана с иерархическим построением системы, таким как центральный KOMRAD и его филиалы, что обеспечивает простой обмен контентом между ними.
Функция задокументирована
Иерархия
В некоторых проектах, где SOC-центры используют KOMRAD Enterprise SIEM, важно иметь связь между родительским и подчиненным центрами. В связи с этим, мы добавили новую функциональность, которая позволяет не только отправлять события от одного KOMRAD Enterprise SIEM к другому, но также отправлять инциденты, которые наследуют изменения статуса. Если статус инцидента изменяется, происходит синхронизация между системами. В рамках этой задачи мы также добавили возможность отправки данных по защищенному каналу с использованием TLS.
Иерархическая структура позволяет реализовать не только связь между родительским и подчиненным центрами, но и поддерживать несколько родительских и подчиненных систем. Настройка иерархии в настоящее время выполняется через конфигурационные файлы.
Функция задокументирована
Хранение
Мы часто получали запросы от наших пользователей, связанные с необходимостью разделения событий на горячие и холодные данные. Разделение данных на те, к которым требуется быстрый доступ, и на те, которые нужно хранить в соответствии с требованиями регулятора (например, хранить в течение 6 месяцев), является действительно важным.
Мы реализовали данный механизм с использованием ClickHouse. Для этого мы используем одну таблицу, в которой данные хранятся на разных дисках с помощью механизма TTL (Time to Live). Настройка этой функциональности уже встроена в наш установщик, хотя требуется предварительная подготовка дискового пространства для удобного выбора раздела. Возможна и простая настройка после установки.
Функция задокументирована
Агрегация
Функция агрегации является важной составляющей процесса корреляции, и мы продолжаем улучшать ее функциональность. Новая агрегация предоставляет дополнительные настройки, включая агрегацию по ключам. Теперь инциденты группируются не только по временному окну и числу событий на фильтре, но также имеют более гибкие возможности группировки. Например, можно работать с массивом данных, которые часто встречаются в полях, связанных с IP-адресами. Для использования этой агрегации применяется простой язык написания правил.
Функция задокументирована
Но процесс агрегации может быть ещё сложнее, и по запросам клиентов мы добавили преагрегацию и постагрегацию.
Преагрегация включена в коррелятор и работает следующим образом: когда количество инцидентов в секунду превышает определенный порог, все инциденты сверх этого порога объединяются в один, и затем регистрируется только этот объединенный инцидент.
Постагрегация инцидентов происходит во время регистрации инцидентов. Для активации постагре гации необходимо включить опцию "Агрегировать инциденты" при создании директивы и указать временное окно, а также опционально указать максимальное количество инцидентов в одном агрегированном событии.
При пре- и постагрегации агрегирующий инцидент будет содержать все ключи событий и активов, составляющих инциденты. Дата начала будет равна минимальной дате начала из составляющих инцидентов, а дата выявления инцидента - максимальной дате выявления инцидента.
Функция задокументирована
Дашборды
Визуализация в SIEM является одной из важнейших функций, которая значительно улучшена в новой версии KOMRAD 4.5. Ранее доступными были только преднастоенные виджеты и один дашборд, что зачастую требовало от наших клиентов использования сторонних инструментов визуализации, таких как Grafana.
Однако, с добавлением новой версии, пользователи теперь могут редактировать существующие виджеты, добавлять новые и создавать свои собственные дашборды. Сами виджеты претерпели значительные изменения, включая добавление новых метрик, основанных на методиках jira.
Процесс создания, изменения и удаления виджетов осуществляется непосредственно в базе данных, однако, в рамках расширенной технической поддержки предоставляется возможность получения необходимых виджетов. Таким образом, наши клиенты получают более широкий спектр возможностей для визуализации и анализа данных в SIEM.
Функция задокументирована
Уведомления
Мы получали много запросов от пользователей о добавлении возможности отправки уведомлений в Telegram. Для реализации этой функциональности нам потребовалось добавить новый транспорт webhook. И теперь у нас есть возможность отправлять уведомления в любую систему, включая Telegram, используя этот webhook.
Настро йка данной функции производится в конфигурационном файле komrad-server. Теперь пользователи могут легко настроить уведомления и получать их в Telegram или в любой другой системе, подключенной через webhook. Это предоставляет гибкость и удобство в использовании уведомлений в нашей системе.
Функция задокументирована
Кроме того, у нас появился новый транспорт Kafka, который позволяет синхронизировать инциденты.
Функция задокументирована
Имитация эластика
ELK (Elasticsearch, Logstash, Kibana) долгое время оставался стандартом в области мониторинга и пользуется большой популярностью. Многие системы SIEM до сих пор включают в свою архитектуру компоненты этого открытого исходного кода. На самом деле, если у вас уже настроены инструменты, такие как Vector или Winlogbeat, то зачем вам заморачиваться настройкой дополнительных инструментов от поставщика SIEM.
Теперь вы можете отправлять события напрямую из Vector, Winlogbeat, Heartbeat, Fluentd, Logstash, Filebeat, Metricbeat, обеспечивая прямую интеграцию с нашей системой SIEM. Но это еще не все, вы также можете подключить любой другой источник данных, который ожидает связи с базой данных Elasticsearch.
Это дает вам возможность использовать уже существующую инфраструктуру и инструменты, сокращая время и затраты на настройку новых инструментов. Вы получаете гибкость и расширенные возможности для сбора и анализа данных в нашей системе SIEM.
Функция задокументирована
Оффлайн коллекторы
Для заказчиков с автономными сегментами сети закрыта потребность в оффлайн сборе. Теперь вы можете запустить коллектор без связи с транспортной шиной, события будет писаться в файл, который потом можно будет загрузить на центральный узел KOMRAD. Оснащены оффлайн сбором WMI и Syslog коллекторы.
Функция задокументирована
SQL-коллектор
В SQL-коллектор добавилась возможность импорта шаблонов подключений, пока это возможно делать через базу, но новые шаблоны будут также предоставляться в рамках технической поддержки. Добавление такой функции обусловлено тем, что шаблоны быстро устаревают и в них нет версионирования. Также мы обновили часть шаблонов сбора.
Функция задокументирована
Файловый коллектор
Файловый коллектор получил более 20 новых настроек для сбора, но главная добавленная функция - это сбор с директорий и папок, коллектор стал стабильнее и надёжнее, каким и должен был быть изначально.
Функция задокументирована
Плагины
Плагин IF предоставляет возможность создания логических цепочек или деревьев решений для нормализации последовательности событий. Вы можете определить, как именно события должны быть нормализованы, а также указать, что они должны подпадать под несколько плагинов по условию. В новых плагинах доступен метод cel-go для задания правил нормализации, но также можно использовать регулярные выражения.
Функция задокументирована
Схема событий 2.0
Введение термина "индексация" стало новым для многих наших пользователей. Ранее, при использовании фильтров, события, соответствующие этим фильтрам, сохранялись отдельно, и для обновления данных по фильтру требовалась предварительная индексация. Однако этот процесс индексации вызывал ряд проблем, таких как утечки ресурсов и перегрузка базы данных.
В новой версии KOMRAD 4.5 индексация больше не требуется благодаря новой схеме обработки событий. Подробности о технических особенностях будут доступны позже, но это значительное событие в развитии нашего продукта.
Это важный шаг, который помогает улучшить производительность и эффективность системы, а также снизить нагрузку на ресурсы и базу данных. Мы продолжаем стремиться к развитию и усовершенствованию нашего продукта, чтобы обеспечить нашим клиентам наилучший опыт использования и более эффективную обработку данных.