История изменений KOMRAD Enterprise SIEM
Версия 4.3
Добавлено
-
Гибкая настройка уведомлений, отправка изменений по инцидентам
-
Возможность развернуть KOMRAD в Docker
-
Защита komrad-bus, по умолчанию bus использует TLS
-
Фильтрация на отправку инцидентов, теперь есть возможность определить только те инциденты которые нуждаются в отправке, а не все новые
-
Готовый шаблон уведомления на почту, больше нет необходимости прописывать его вручную
-
Добавлена возможность добавлять и использовать поля mitre att&ck в директивах и инцидентах
-
Возможность добавлять репутационные списки активов
-
Новый защищённый прокси Komrad_WAF_PROXY
-
WAF настройки безопасности KOMRAD на уровне запросов
-
Добавлен плагин для Suricata
-
Добавлен плагин для nginx
-
Добавлен плагин для auditd
-
Добавлен плагин DNS
-
Добавлен плагин GROK
-
Добавлена возможность создавать новое событие безопасности вместе с инцидентом, либо только событие безопасности без создания инцидента. Функция помогает выстраивать корреляцию распределённых во времени событий, снизить нагрузку ложных срабатываний на оператора
-
Добавлена возможность импорта сетевых активов из файла, либо архива в формате CSV
-
Добавлена возможность переходить по разрешённым ссылкам, если в конфигурации указан список разрешённых для внешнего перехода доменов
-
Обновлено API Для ГосСОПКА
-
Добавлена возможность добавлять промежуточные сертификаты из UI
-
Добавлена валидация ошибок ГосСОПКА
-
Обновлена утилита проксирования запросов от KOMRAD Enterprise SIEM к ГосСОПКА, появилась возможность подстраиваться под обновления API ГосСОПКА
-
Появилась возможность использовать промежуточный сертификат для более безопасного соединения
-
-
Аутентификация по LDAP
-
Добавлен пассивный сбор по протоколу HTTP коллектор
-
tcp4/tcp6
-
Защита BasicAuth
-
Возможность выбора метода HTTP
-
Извлечение заголовков HTTP
-
Интеграция со Сканер-ВС
-
-
Добавлена возможность редактировать шаблон заполнения карточки уведомления по инциденту в уведомлении Liquid — shopify.github.io/liquid/ (разбивать строку на различные части)
-
Модуль извлечения цифрового отпечатка пользователя из браузера логирует действия пользователя в браузере, события, позволяет отслеживать заходы под чужими логинами и прочие несанкционированные действия внутри SIEM
-
Добавлена команда
komrad-cli grpc
, позволяющая интерактивно взаимодействовать с gRPC APR SIEM-системы и использовать его в задачах автоматизации пользователя -
Добавлена утилита
komrad-cli db clickhouse backup
, позволяющая производить фоновый процесс резервного копирования данных; описание и документация — илиkomrad-cli db clickhouse backup --help ()
-
Добавлена утилита
komrad-cli db postgres inspect
, позволяющая получать состояние БД PostgreSQL; описание — илиkomrad-cli db postgres inspect --help ()
-
Добавлена утилита
komrad-cli grpc
; документация — https://github.com/ktr0731/evans илиkomrad-cli grpc --help()
-
Подключен опрос статуса активов в модуле «Активы» - «Дашборды», реализовано обновление статуса актива через Websockets с отображением в интерфейсе оператора элемента графики «Светофор» для каждого актива внутри дашборда
-
Плагины:
-
Автоматическое извлечение структурированной информации из сообщений в формате JSON
-
Автоматическое извлечение и нормализация событий Suricata
-
Сообщения журналов Windows PowerShell, Sysmon, Security теперь автоматически нормализуются, обогащаются дополнительной информацией
-
В плагинах коллектора теперь можно форматировать описание элементов плагина в Markdown
-
В интерфейсе плагинов коллектора появилась кнопка «Эвристический анализ паттерна»; функция позволяет ввести сырой текст события и получить наиболее подходящее выражение нормализатора KOMRAD Enterprise SIEM для текста; в первой версии работает только для JSON-строк — извлекает все пути JSON в поле «Регулярное выражение»
-
-
В интерфейсе файлового коллектора появилась возможность выбора способа аутентификации целевого SSH узла; доступные опции — логин/пароль, публичный сертификат, также возможен выбор Strict Host Keys auth
-
Переведена часть текстов системных ошибок русский язык
-
Доступен сервис подсказок к элементам визуального интерфейса с переводами на различные языки (Accept-Language)
-
В версии 4.3 доступны дополнительные разрезы для отчётов по инцидентам: tenant_id, is_manual
-
Новые функции для Lua-фильтров: event:isEqualSetOfStrings, event:isSupersetOfStrings, event:isEqualSetOfStrings, startsWith, startsWithCaseInsensitive, hasString, hasStringCaseInsensitive, hasSubString, hasSubStringCaseInsensitive, hasNonASCIICharsAtLeast, hasASCIICharsAtLeast, containsAny
-
Rate Limit или защита от DOS-атак. В файле конфигурации Вы можете задать ограничения числа запросов к HTTP
-
Добавлена защита от атаки Slowloris www.cloudflare.com/learning/ddos/ddos-attack-tools/slowloris/. В файле конфигурации вы можете задать время сброса HTTP соединения при условии, если идут только HTTP заголовки, а тело запроса долго не идёт.
-
Изменено
-
Переработка SNMP:
-
Существенно доработана обработка протоколов версии v1, v2, v3
-
Появилось больше параметров настройки защиты соединения
-
Добавлен визуальный инструмент опроса и анализа устройств, навигация по OID устройства для выбора целей сбора информации
-
Расширенная настройки для SNMP Traps Server
-
-
Обновлены компоненты:
-
ClickHouse до версии v22.9.3.18ьс последними патчами, отдельная сборка ClickHouse AVX-512/BMI для увеличения быстродействия работы системы на процессорах с AVX-512/BMI на 15-25%
-
Добавлена утилита для фоновых бэкапов БД ClickHouse
komrad-cli db clickhouse backup
-
Обновлён Nmap до v7.92
-
Переработана сборка system service пакетов, инсталляция и эксплуатация теперь более надёжны, исправлены многие известные проблемы, пакеты валидируются debian lintian
-
добавлена интерактивная документация API KOMRAD Enterprise SIEM в формате OpenAPI 2.0/Swagger в основной визуальный интерфейс
-
-
Обновлён и улучшен интеграционный тест коррелятора
-
Лицензия:
-
Лицензия не блокирует старт
komrad-server
иkomrad-processor
-
Изменено ограничение запуска коллекторов лицензией
-
Изменена загрузка лицензии из директории
-
-
Ускорена Lua-фильтрация за счёт оптимизации горячих точек кода и применения кодогенерации потока безопасных ассоциативных словарей
-
Снижена нагрузка на CPU для коллекторов в условиях большого потока событий за счёт использования пула структур события
-
Фильтрация событий в
komrad-processor
ускорена на 40%, потребление памяти под нагрузкой снизилось в 2 раза -
Оптимизирована упаковка событий в пакеты внутри коллекторов и агентов, что потенциально снижает приблизительно в 2 раза требования к памяти и увеличивает скорость сжатия пакетов событий примерно в 1,75 раза
-
Добавлен параметр
min-version
для конфигураций TLS, варианты – «ssl», «1.0», «1.1», «1.2», «1.3» -
Добавлен параметр
client-auth
для конфигураций TLS, варианты – «no_client_cert», «request_client_cert», «require_any_client_cert», «verify_client_cert_if_given» -
Расширено отображение данных о пользователях
-
Обновлены поля ECS
-
Журналы Windows «ForwardedEvents» и «Setup» теперь отображаются в интерфейсе управления агентом Windows
-
Журнал Sysmon теперь отображается в списке журналов Windows в интерфейсе управления агентом Windows
-
Поддержка SQLite для Linux и Windows в стандартных SQL коллекторах, без CGO
-
Реализована передача внутренних логов коллектора в
komrad-processor
, интерфейс доступа к логам коллектора с возможностью поиска по вхождению подстроки, регулярного выражения либо примерного регулярного выражения, сортировка -
В интерфейсе файлового коллектора разделена функция валидации на валидацию соединения к целевому узлу и валидацию единичных файлов
-
Отчёт по действиям пользователей стал дополненным
-
WMI-агент: новые параметры, гибкая настройка вычитываемых журналов, количества событий, подсказки, количество EPS увеличилось
-
Фильтр проверятся при создании на ошибки
-
В syslog-коллекторе только один автоматический парсер на выбор, чтобы ожидаемое событие не парсилось по-разному
-
Настройки почты стали болеее гибкими
-
Уведомления по syslog получили возможность использования TLS
-
Исправлены шаблоны для БД в sql-коллекторе
Исправлено
-
В интерфейсе SNMP коллектора теперь корректно отображается IP-адрес цели
-
имя директивы должно быть уникальным
-
улучшены сообщения об ошибке при валидации кода директивы, добавлены переводы на русский и английский языки
-
в случае паники сервисных функций Web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением изучить логи для администратора, детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера
-
в отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке
-
в интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа если код при проверке оказался невалидным. Исправлен баг, когда нажимаешь кнопку проверить, и отсылается запрос с состоянием кода, который был изначально
-
в интерфейсе управления директивами корреляции список ошибок конструктора директивы/код сделан в виде компонента
callout
-
в интерфейсе управления директивами корреляции список предупреждений конструктор директивы/код сделан в виде компонента
callout
-
в интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language)
-
в интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бэкенда не совпадает с отображением на UI)
-
в интерфейсе управления директивами корреляции добавлены подсказки (hints) русский/английский к полям ввода
-
в интерфейсе управления директивами корреляции при нажатии кнопки "Проверить выражение и заполнить поля" происходит автоматическое заполнение полей маппинга, если поле "Поле нормализации" оказывается пустым, оно подсвечивается красным и кнопка сохранить вверху становится неактивной
-
в интерфейсе управления директивами корреляции если в поле "Пример исходного события" оказался невалидный json, и при нажатии на кнопку "Эвристический анализ паттерна" сервер его обработать не смог (вернул null) сверху загорается всплывающее окно с ошибкой
-
теперь при старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе. В случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД — администратор получит уведомление
-
исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС
-
исправлена валидация параметров
From
иTo
в генерации отчетов по инцидентам -
в Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов
-
установлены лимиты на размер кэша в фильтрах Lua
-
в карточке события теперь больше полей содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС
-
в SQL-коллекторе колонки с именем равным ECS записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS
-
кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля
-
удаление пользовательских полей событий теперь возможно
-
в интерфейсе работы с плагинами стало удобнее искать поля события
-
частое нажатие на включение/выключение агента/коллектора теперь не приводит к зависанию агента/коллектора
-
любое изменяющее коллектор действие теперь не требует принудительного рестарта
-
сканирование большого количества узлов
OID
snmp
-
-
корректно извлекаются отметки времени и стандартные поля схемы ECS при парсинге сообщений форматов CEF, RFC 3164 и RFC
-
для оборудования производителя Aruba корректно парсятся MAC адреса в сообщениях Syslog CEF
-
отображение даты 01-01-1970 в событиях, в которых не удалось извлечь отметку времени из сырого текста
-
фильтрация событий по дате "до" больше не включает события с незаполненной датой, например, если поле CTime не было извлечено из события, включаться в результат фильтрации "до 2021 года" такое событие больше не будет
-
стал работать поиск по тегам в активах
Исправления
-
В интерфейсе SNMP-коллектора теперь корректно отображается IP-адрес цели
-
Имя директивы должно быть уникальным
-
В случае паники сервисных функций web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением для администратора изучить логи; детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера
-
Любое изменяющее коллектор действие теперь не требует принудительного рестарта
-
WMI-агент устойчив к нагрузке
-
Исправлено соответствие категории и типа ГосСОПКА
-
Поля больше не съезжают при прокрутке
-
Автоматическое сканирование активов отключено
-
Добавлен выбор извлечения событий из события (извлекать или нет)
-
Обновлены шаблоны SQL коллектора
-
Возможность создавать пользовательские поля с точкой
-
Исправлена ошибка Double root (2 пользователя root при создании пользователя)
-
Повреждение конфигурационных файлов пользователями (рядом лежат «эталонные» Файлы конфигурации)
-
Отключение tls-сертификатов теперь возможно с установки
-
Ретро-фильтрация не создаёт нагрузку на KOMRAD-процессор
-
AssetIPs извлекается корректно
-
В отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке
-
В интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа, если код при проверке оказался невалидным. Исправлен баг, когда при нажатии кнопки «проверить» отсылается запрос с изначальным состоянием кода (до внесения исправлений)
-
В интерфейсе управления директивами корреляции список ошибок и предупреждений конструктора директивы/код сделан в виде компонента
callout
-
В интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language)
-
В интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бекенда не совпадает с отображением на UI)
-
В интерфейсе управления директивами корреляции добавлены подсказки (hints) к полям ввода на русском и английском языках
-
В интерфейсе управления директивами корреляции при нажатии кнопки «Проверить выражение и заполнить поля» происходит автоматическое заполнение полей маппинга; если «Поле нормализации» оказывается пустым, оно подсвечивается красным, и кнопка «Сохранить» вверху становится неактивной.
-
В интерфейсе управления директивами корреляции, если в поле «Пример исходного события» оказался не валидный json, и при нажатии на кнопку «Эвристический анализ паттерна» сервер его обработать не смог (вернул null), сверху загорается всплывающее окно с ошибкой.
-
При старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе; в случае если локальная конфигурация в
yaml
изменится и войдёт в конфликт с конфигурацией в БД, администратор получит уведомление -
Исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС
-
Исправлена валидация параметров
From
иTo
в генерации отчетов по инцидентам -
В Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов
-
Установлены лимиты на размер кэша в Lua-фильтрах
-
В карточке «События» теперь больше полей, содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС
-
В SQL-коллекторе колонки с именем, равным ECS, записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS
-
Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля
-
Добавлена возможность удаления пользовательских полей событий
-
В интерфейсе работы с плагинами стало удобнее искать поля события
-
Исправлена ошибка, когда частое нажатие на включение/выключение агента/коллектора приводило к зависанию агента/коллектора