История изменений KOMRAD Enterprise SIEM
Версия 4.3
Добавлено
-
Возможность развернуть Komrad в Docker
-
Защита komrad-bus, по умолчанию bus использует TLS
-
Фильтрация на отправку инцидентов, теперь есть возможность определить только те инциденты которые нуждаются в отправке, а не все новые
-
Готовый шаблон уведомления на почту, больше нет необходимости прописывать его вручную
-
Добавлена возможность добавлять и использовать поля mitre att&ck в директивах и инцидентах
-
Возможность добавлять репутационные списки активов
-
Новый защищённый прокси Komrad_WAF_PROXY
-
WAF настройки безопасности KOMRAD на уровне запросов
-
Добавлен плагин для Suricata
-
Добавлен плагин для nginx
-
Добавлен плагин для auditd
-
Добавлен плагин DNS
-
Добавлена возможность создавать новое событие безопасности вместе с инцидентом, либо только событие безопасности без создания инцидента. Функция помогает выстраивать корреляцию распределённых во времени событий, снизить нагрузку ложных срабатываний на оператора
-
Добавлена возможность импорта сетевых активов из файла, либо архива в формате CSV
-
Добавлена возможность переходить по разрешённым ссылкам, если в конфигурации указан список разрешённых для внешнего перехода доменов
-
Обновлено API Для ГосСОПКА.
-
Добавлена возможность добавлять промежуточные сертификаты из UI.
-
Добавлена валидация ошибок ГосСОПКА.
-
Обновлена утилита проксирования запросов от KOMRAD Enterprise SIEM к ГосСОПКА, появилась возможность подстраиваться под обновления API ГосСОПКА.
-
Появилась возможность использовать промежуточный сертификат для более безопасного соединения.
-
-
Аутентификация по LDAP;.
-
Добавлен пассивный сбор по протоколу HTTP коллектор
-
tcp4/tcp6.
-
Защита BasicAuth.
-
Возможность выбора метода HTTP.
-
Извлечение заголовков HTTP.
-
Интеграция со Сканер-ВС.
-
-
Добавлена возможность редактировать шаблон заполнения карточки уведомления по инциденту в уведомлении Liquid — shopify.github.io/liquid/ (разбивать строку на различные части)
-
Модуль извлечения цифрового отпечатка пользователя из браузера логирует действия пользователя в браузере, события, позволяет отслеживать заходы под чужими логинами и прочие несанкционированные действия внутри SIEM.
-
Добавлена команда komrad-cli grpc, позволяющая интерактивно взаимодействовать с gRPC APR SIEM-системы и использовать его в задачах автоматизации пользователя.
-
Добавлена утилита komrad-cli db clickhouse backup, позволяющая производить фоновый процесс резервного копирования данных; описание и документация — или komrad-cli db clickhouse backup --help ().
-
Добавлена утилита komrad-cli db postgres inspect, позволяющая получать состояние БД PostgreSQL; описание — или komrad-cli db postgres inspect --help ().
-
Добавлена утилита komrad-cli grpc; документация — https://github.com/ktr0731/evans или komrad-cli grpc --help().
-
Подключен опрос статуса активов в модуле «Активы» - «Дашборды», реализовано обновление статуса актива через Websockets с отображением в интерфейсе оператора элемента графики «Светофор» для каждого актива внутри дашборда.
-
Плагины:
-
Автоматическое извлечение структурированной информации из сообщений в формате JSON.
-
Автоматическое извлечение и нормализация событий Suricata.
-
Сообщения журналов Windows PowerShell, Sysmon, Security теперь автоматически нормализуются, обогащаются дополнительной информацией.
-
В плагинах коллектора теперь можно форматировать описание элементов плагина в Markdown.
-
В интерфейсе плагинов коллектора появилась кнопка «Эвристический анализ паттерна»; функция позволяет ввести сырой текст события и получить наиболее подходящее выражение нормализатора KOMRAD Enterprise SIEM для текста; в первой версии работает только для JSON-строк — извлекает все пути JSON в поле «регулярное выражение».
-
-
В интерфейсе файлового коллектора появилась возможность выбора способа аутентификации целевого SSH узла; доступные опции — логин/пароль, публичный сертификат, также возможен выбор Strict Host Keys auth.
-
Переведена часть текстов системных ошибок русский язык.
-
Доступен сервис подсказок к элементам визуального интерфейса с переводами на различные языки (Accept-Language).
-
В версии 4.3 доступны дополнительные разрезы для отчётов по инцидентам: tenant_id, is_manual.
-
Новые функции для Lua-фильтров: event:isEqualSetOfStrings, event:isSupersetOfStrings, event:isEqualSetOfStrings, startsWith, startsWithCaseInsensitive, hasString, hasStringCaseInsensitive, hasSubString, hasSubStringCaseInsensitive, hasNonASCIICharsAtLeast, hasASCIICharsAtLeast, containsAny.
-
Rate Limit или защита от DOS-атак файле конфигурации вы можете задать ограничения числа запросов к HTTP
-
Добавлена защита от атаки Slowloris www.cloudflare.com/learning/ddos/ddos-attack-tools/slowloris/. В файле конфигурации вы можете задать время сброса HTTP соединения при условии, если идут только HTTP заголовки, а тело запроса долго не идёт.
-
Изменено
-
Переработка SNMP:
-
Существенно доработана обработка протоколов версии v1, v2, v3.
-
Появилось больше параметров настройки защиты соединения.
-
Добавлен визуальный инструмент опроса и анализа устройств, навигация по OID устройства для выбора целей сбора информации.
-
Расширенная настройки для SNMP Traps Server.
-
-
Обновлены компоненты:
-
ClickHouse до версии v22.9.3.18с последними патчами, отдельная сборка ClickHouse AVX-512/BMI для увеличения быстродействия работы системы на процессорах с AVX-512/BMI на 15-25%.
-
Добавлена утилита для фоновых бэкапов БД ClickHouse komrad-cli db clickhouse backup.
-
Обновлён Nmap до v7.92.
-
Переработана сборка system service пакетов, инсталляция и эксплуатация теперь более надёжны, исправлены многие известные проблемы, пакеты валидируются debian lintian.
-
добавлена интерактивная документация API KOMRAD Enterprise SIEM в формате OpenAPI 2.0/Swagger в основной визуальный интерфейс.
-
-
Обновлён и улучшен интеграционный тест коррелятора.
-
Лицензия:
-
Лицензия не блокирует старт komrad-server и komrad-processor.
-
Изменено ограничение запуска коллекторов лицензией.
-
Изменена загрузка лицензии из директории.
-
-
Ускорена Lua-фильтрация за счёт оптимизации горячих точек кода и применения кодогенерации потока безопасных ассоциативных словарей.
-
Снижена нагрузка на CPU для коллекторов в условиях большого потока событий за счёт использования пула структур события.
-
Фильтрация событий в komrad-processor ускорена на 40%, потребление памяти под нагрузкой снизилось в 2 раза.
-
Оптимизирована упаковка событий в пакеты внутри коллекторов и агентов, что потенциально снижает приблизительно в 2 раза требования к памяти и увеличивает скорость сжатия пакетов событий примерно в 1,75 раза.
-
Добавлен параметр min-version для конфигураций TLS, варианты – «ssl», «1.0», «1.1», «1.2», «1.3».
-
Добавлен параметр client-auth для конфигураций TLS, варианты – «no_client_cert», «request_client_cert», «require_any_client_cert», «verify_client_cert_if_given».
-
Расширено отображение данных о пользователях.
-
Обновлены поля ECS.
-
Журналы Windows «ForwardedEvents» и «Setup» теперь отображаются в интерфейсе управления агентом Windows.
-
Журнал Sysmon теперь отображается в списке журналов Windows в интерфейсе управления агентом Windows.
-
Поддержка SQLite для Linux и Windows в стандартных SQL коллекторах, без CGO.
-
Реализована передача внутренних логов коллектора в komrad-processor, интерфейс доступа к логам коллектора с возможностью поиска по вхождению подстроки, регулярного выражения либо примерного регулярного выражения, сортировка.
-
В интерфейсе файлового коллектора разделена функция валидации на валидацию соединения к целевому узлу и валидацию единичных файлов.
-
Отчёт по действиям пользователей стал дополненным
-
WMI-агент: новые параметры, гибкая настройка вычитываемых журналов, количества событий, подсказки, количество EPS увеличилось.
-
Фильтр проверятся при создании на ошибки.
-
В syslog коллекторе только один автоматический парсер на выбор, чтобы ожидаемое событие не парсилось по-разному
-
Настройки почты стали болеее гибкими
-
Уведомления по syslog получили возможность использования TLS
-
Исправлены шаблоны для БД в sql-коллекторе
Исправлено
-
В интерфейсе SNMP коллектора теперь корректно отображается IP адрес цели;
-
имя директивы должно быть уникальным;
-
улучшены сообщения об ошибке при валидации кода директивы, добавлены переводы на русский и английский языки;
-
в случае паники сервисных функций Web клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением изучить логи для администратора, детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера;
-
в отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке ;
-
в интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа если код при проверке оказался невалидным. Исправлен баг, когда нажимаешь кнопку проверить, и отсылается запрос с состоянием кода, который был изначально;
-
в интерфейсе управления директивами корреляции список ошибок конструктора директивы/код сделан в виде компонента callout.
-
в интерфейсе управления директивами корреляции список предупреждений конструктор директивы/код сделан в виде компонента callout;
-
в интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language);
-
в интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бэкенда не совпадает с отображением на ui);
-
в интерфейсе управления директивами корреляции добавлены подсказки (hints) русский/английский к полям ввода;
-
в интерфейсе управления директивами корреляции при нажатии кнопки "Проверить выражение и заполнить поля" происходит автоматическое заполнение полей маппинга, если поле "Поле нормализации" оказывается пустым, оно подсвечивается красным и кнопка сохранить вверху становится неактивной ;
-
в интерфейсе управления директивами корреляции если в поле "Пример исходного события" оказался не валидный json, и при нажатии на кнопку "Эвристический анализ паттерна" сервер его обработать не смог (вернул null) сверху загорается всплывающее окно с ошибкой;
-
теперь при старте коллектора если специальный блок конфигурации целей сбора коллектора или агента был не пустой - эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе, в случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД — администратор получит уведомление;
-
исправлены ошибки работы фильтра IP адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС ;
-
Исправлена валидация параметров From и To в генерации отчетов по инцидентам;
-
В Lua фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов;
-
установлены лимиты на размер кэша в фильтрах Lua;
-
В карточке события теперь больше полей содержащих IP либо адрес FQDN линкуется с активами Сканер-ВС;
-
В SQL коллекторе колонки с именем равным ECS записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS;
-
Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля;
-
Удаление пользовательских полей событий теперь возможно;
-
В интерфейсе работы с плагинами стало удобнее искать поля события;
-
Частое нажатие на включение/выключение агента/коллектора теперь не приводит к зависанию агента/коллектора;
-
Любое изменяющее коллектор действие теперь не требует принудительного рестарта;
-
Сканирование большого количества узлов
OID
snmp ;
-
-
Корректно извлекаются отметки времени и стандартные поля схемы ECS при парсинге сообщений форматов CEF, RFC 3164 и RFC;
-
Для оборудования производителя Aruba корректно парсятся MAC адреса в сообщениях Syslog CEF;
-
Отображение даты 01-01-1970 в событиях, в которых не удалось извлечь отметку времени из сырого текста;
-
Фильтрация событий по дате "до" больше не включает события с незаполненной датой, например, если поле CTime не было извлечено из события, включаться в результат фильтрации "до 2021 года" такое событие больше не будет;
-
Стал работать поиск по тегам в активах.
Исправления
-
В интерфейсе SNMP коллектора теперь корректно отображается IP-адрес цели.
-
Имя директивы должно быть уникальным.
-
В случае паники сервисных функций web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением для администратора изучить логи; детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера.
-
Любое изменяющее коллектор действие теперь не требует принудительного рестарта.
-
WMI-агент устойчив к нагрузке.
-
Исправлено соответствие категории и типа ГосСОПКА.
-
Поля больше не съезжают при прокрутке.
-
Автоматическое сканирование активов отключено
-
Добавлен выбор извлечения событий из события (извлекать или нет)
-
Обновлены шаблоны SQL коллектора.
-
Возможность создавать пользовательские поля с точкой.
-
Исправлена ошибка Double root (2 пользователя root при создании пользователя)
-
Повреждение конфигурационных файлов пользователями (рядом лежат «эталонные» Файлы конфигурации)
-
Отключение tls-сертификатов теперь возможно с установки.
-
Ретро-фильтрация не создаёт нагрузку на комрад-процессор.
-
AssetIPs извлекается корректно
-
В отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке.
-
В интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа, если код при проверке оказался невалидным. Исправлен баг, когда при нажатии кнопки «проверить» отсылается запрос с изначальным состоянием кода (до внесения исправлений).
-
В интерфейсе управления директивами корреляции список ошибок и предупреждений конструктора директивы/код сделан в виде компонента callout.
-
В интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language).
-
В интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бекенда не совпадает с отображением на UI).
-
В интерфейсе управления директивами корреляции добавлены подсказки (hints) к полям ввода на русском и английском языках.
-
В интерфейсе управления директивами корреляции при нажатии кнопки «Проверить выражение и заполнить поля» происходит автоматическое заполнение полей маппинга; если «Поле нормализации» оказывается пустым, оно подсвечивается красным, и кнопка «Сохранить» вверху становится неактивной.
-
В интерфейсе управления директивами корреляции если в поле «Пример исходного события» оказался не валидный json, и при нажатии на кнопку «Эвристический анализ паттерна» сервер его обработать не смог (вернул null), сверху загорается всплывающее окно с ошибкой.
-
При старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе; в случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД, администратор получит уведомление.
-
Исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС.
-
Исправлена валидация параметров From и To в генерации отчетов по инцидентам.
-
В Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов.
-
Установлены лимиты на размер кэша в Lua-фильтрах.
-
В карточке «События» теперь больше полей, содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС.
-
В SQL-коллекторе колонки с именем, равным ECS, записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS.
-
Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля.
-
Добавлена возможность удаления пользовательских полей событий.
-
В интерфейсе работы с плагинами стало удобнее искать поля события.
-
Исправлена ошибка, когда частое нажатие на включение/выключение агента/коллектора приводило к зависанию агента/коллектора.