История изменений KOMRAD Enterprise SIEM

Версия 4.3

Добавлено

  • Возможность развернуть Komrad в Docker

  • Защита komrad-bus, по умолчанию bus использует TLS

  • Фильтрация на отправку инцидентов, теперь есть возможность определить только те инциденты которые нуждаются в отправке, а не все новые

  • Готовый шаблон уведомления на почту, больше нет необходимости прописывать его вручную

    • Добавлена возможность добавлять и использовать поля mitre att&ck в директивах и инцидентах

    • Возможность добавлять репутационные списки активов

    • Новый защищённый прокси Komrad_WAF_PROXY

    • WAF настройки безопасности KOMRAD на уровне запросов

    • Добавлен плагин для Suricata

    • Добавлен плагин для nginx

    • Добавлен плагин для auditd

    • Добавлен плагин DNS

    • Добавлена возможность создавать новое событие безопасности вместе с инцидентом, либо только событие безопасности без создания инцидента. Функция помогает выстраивать корреляцию распределённых во времени событий, снизить нагрузку ложных срабатываний на оператора

    • Добавлена возможность импорта сетевых активов из файла, либо архива в формате CSV

    • Добавлена возможность переходить по разрешённым ссылкам, если в конфигурации указан список разрешённых для внешнего перехода доменов

    • Обновлено API Для ГосСОПКА.

      1. Добавлена возможность добавлять промежуточные сертификаты из UI.

      2. Добавлена валидация ошибок ГосСОПКА.

      3. Обновлена утилита проксирования запросов от KOMRAD Enterprise SIEM к ГосСОПКА, появилась возможность подстраиваться под обновления API ГосСОПКА.

      4. Появилась возможность использовать промежуточный сертификат для более безопасного соединения.

    • Аутентификация по LDAP;.

    • Добавлен пассивный сбор по протоколу HTTP коллектор

      1. tcp4/tcp6.

      2. Защита BasicAuth.

      3. Возможность выбора метода HTTP.

      4. Извлечение заголовков HTTP.

      5. Интеграция со Сканер-ВС.

    • Добавлена возможность редактировать шаблон заполнения карточки уведомления по инциденту в уведомлении Liquid — shopify.github.io/liquid/ (разбивать строку на различные части)

    • Модуль извлечения цифрового отпечатка пользователя из браузера логирует действия пользователя в браузере, события, позволяет отслеживать заходы под чужими логинами и прочие несанкционированные действия внутри SIEM.

    • Добавлена команда komrad-cli grpc, позволяющая интерактивно взаимодействовать с gRPC APR SIEM-системы и использовать его в задачах автоматизации пользователя.

    • Добавлена утилита komrad-cli db clickhouse backup, позволяющая производить фоновый процесс резервного копирования данных; описание и документация — или komrad-cli db clickhouse backup --help ().

    • Добавлена утилита komrad-cli db postgres inspect, позволяющая получать состояние БД PostgreSQL; описание  —  или komrad-cli db postgres inspect --help ().

    • Добавлена утилита komrad-cli grpc; документация — https://github.com/ktr0731/evans или komrad-cli grpc --help().

    • Подключен опрос статуса активов в модуле «Активы» - «Дашборды», реализовано обновление статуса актива через Websockets с отображением в интерфейсе оператора элемента графики «Светофор» для каждого актива внутри дашборда.

    • Плагины:

      1. Автоматическое извлечение структурированной информации из сообщений в формате JSON.

      2. Автоматическое извлечение и нормализация событий Suricata.

      3. Сообщения журналов Windows PowerShell, Sysmon, Security теперь автоматически нормализуются, обогащаются дополнительной информацией.

      4. В плагинах коллектора теперь можно форматировать описание элементов плагина в Markdown.

      5. В интерфейсе плагинов коллектора появилась кнопка «Эвристический анализ паттерна»; функция позволяет ввести сырой текст события и получить наиболее подходящее выражение нормализатора KOMRAD Enterprise SIEM для текста; в первой версии работает только для JSON-строк — извлекает все пути JSON в поле «регулярное выражение».

    • В интерфейсе файлового коллектора появилась возможность выбора способа аутентификации целевого SSH узла; доступные опции — логин/пароль, публичный сертификат, также возможен выбор Strict Host Keys auth.

    • Переведена часть текстов системных ошибок русский язык.

    • Доступен сервис подсказок к элементам визуального интерфейса с переводами на различные языки (Accept-Language).

    • В версии 4.3 доступны дополнительные разрезы для отчётов по инцидентам: tenant_id, is_manual.

    • Новые функции для Lua-фильтров: event:isEqualSetOfStrings, event:isSupersetOfStrings, event:isEqualSetOfStrings, startsWith, startsWithCaseInsensitive, hasString, hasStringCaseInsensitive, hasSubString, hasSubStringCaseInsensitive, hasNonASCIICharsAtLeast, hasASCIICharsAtLeast, containsAny.

    • Rate Limit или защита от DOS-атак файле конфигурации вы можете задать ограничения числа запросов к HTTP

    • Добавлена защита от атаки Slowloris www.cloudflare.com/learning/ddos/ddos-attack-tools/slowloris/. В файле конфигурации вы можете задать время сброса HTTP соединения при условии, если идут только HTTP заголовки, а тело запроса долго не идёт.

Изменено

  1. Переработка SNMP:

    1. Существенно доработана обработка протоколов версии v1, v2, v3.

    2. Появилось больше параметров настройки защиты соединения.

    3. Добавлен визуальный инструмент опроса и анализа устройств, навигация по OID устройства для выбора целей сбора информации.

    4. Расширенная настройки для SNMP Traps Server.

  2. Обновлены компоненты:

    1. ClickHouse до версии v22.9.3.18с последними патчами, отдельная сборка ClickHouse AVX-512/BMI для увеличения быстродействия работы системы на процессорах с AVX-512/BMI на 15-25%.

    2. Добавлена утилита для фоновых бэкапов БД ClickHouse komrad-cli db clickhouse backup.

    3. Обновлён Nmap до v7.92.

    4. Переработана сборка system service пакетов, инсталляция и эксплуатация теперь более надёжны, исправлены многие известные проблемы, пакеты валидируются debian lintian.

    5. добавлена интерактивная документация API KOMRAD Enterprise SIEM в формате OpenAPI 2.0/Swagger в основной визуальный интерфейс.

  3. Обновлён и улучшен интеграционный тест коррелятора.

  4. Лицензия:

    1. Лицензия не блокирует старт komrad-server и komrad-processor.

    2. Изменено ограничение запуска коллекторов лицензией.

    3. Изменена загрузка лицензии из директории.

  5. Ускорена Lua-фильтрация за счёт оптимизации горячих точек кода и применения кодогенерации потока безопасных ассоциативных словарей.

  6. Снижена нагрузка на CPU для коллекторов в условиях большого потока событий за счёт использования пула структур события.

  7. Фильтрация событий в komrad-processor ускорена на 40%, потребление памяти под нагрузкой снизилось в 2 раза.

  8. Оптимизирована упаковка событий в пакеты внутри коллекторов и агентов, что потенциально снижает приблизительно в 2 раза требования к памяти и увеличивает скорость сжатия пакетов событий примерно в 1,75 раза.

  9. Добавлен параметр min-version для конфигураций TLS, варианты – «ssl», «1.0», «1.1», «1.2», «1.3».

  10. Добавлен параметр client-auth для конфигураций TLS, варианты – «no_client_cert», «request_client_cert», «require_any_client_cert», «verify_client_cert_if_given».

  11. Расширено отображение данных о пользователях.

  12. Обновлены поля ECS.

  13. Журналы Windows «ForwardedEvents» и «Setup» теперь отображаются в интерфейсе управления агентом Windows.

  14. Журнал Sysmon теперь отображается в списке журналов Windows в интерфейсе управления агентом Windows.

  15. Поддержка SQLite для Linux и Windows в стандартных SQL коллекторах, без CGO.

  16. Реализована передача внутренних логов коллектора в komrad-processor, интерфейс доступа к логам коллектора с возможностью поиска по вхождению подстроки, регулярного выражения либо примерного регулярного выражения, сортировка.

  17. В интерфейсе файлового коллектора разделена функция валидации на валидацию соединения к целевому узлу и валидацию единичных файлов.

  18. Отчёт по действиям пользователей стал дополненным

  19. WMI-агент: новые параметры, гибкая настройка вычитываемых журналов, количества событий, подсказки, количество EPS увеличилось.

  20. Фильтр проверятся при создании на ошибки.

  21. В syslog коллекторе только один автоматический парсер на выбор, чтобы ожидаемое событие не парсилось по-разному

  22. Настройки почты стали болеее гибкими

  23. Уведомления по syslog получили возможность использования TLS

  24. Исправлены шаблоны для БД в sql-коллекторе

Исправлено

  • В интерфейсе SNMP коллектора теперь корректно отображается IP адрес цели;

  • имя директивы должно быть уникальным;

  • улучшены сообщения об ошибке при валидации кода директивы, добавлены переводы на русский и английский языки;

  • в случае паники сервисных функций Web клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением изучить логи для администратора, детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера;

  • в отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке ;

  • в интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа если код при проверке оказался невалидным. Исправлен баг, когда нажимаешь кнопку проверить, и отсылается запрос с состоянием кода, который был изначально;

  • в интерфейсе управления директивами корреляции список ошибок конструктора директивы/код сделан в виде компонента callout.

  • в интерфейсе управления директивами корреляции список предупреждений конструктор директивы/код сделан в виде компонента callout;

  • в интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language);

  • в интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бэкенда не совпадает с отображением на ui);

  • в интерфейсе управления директивами корреляции добавлены подсказки (hints) русский/английский к полям ввода;

  • в интерфейсе управления директивами корреляции при нажатии кнопки "Проверить выражение и заполнить поля" происходит автоматическое заполнение полей маппинга, если поле "Поле нормализации" оказывается пустым, оно подсвечивается красным и кнопка сохранить вверху становится неактивной ;

  • в интерфейсе управления директивами корреляции если в поле "Пример исходного события" оказался не валидный json, и при нажатии на кнопку "Эвристический анализ паттерна" сервер его обработать не смог (вернул null) сверху загорается всплывающее окно с ошибкой;

  • теперь при старте коллектора если специальный блок конфигурации целей сбора коллектора или агента был не пустой - эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе, в случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД — администратор получит уведомление;

  • исправлены ошибки работы фильтра IP адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС ;

  • Исправлена валидация параметров From и To в генерации отчетов по инцидентам;

  • В Lua фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов;

  • установлены лимиты на размер кэша в фильтрах Lua;

  • В карточке события теперь больше полей содержащих IP либо адрес FQDN линкуется с активами Сканер-ВС;

  • В SQL коллекторе колонки с именем равным ECS записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS;

  • Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля;

  • Удаление пользовательских полей событий теперь возможно;

  • В интерфейсе работы с плагинами стало удобнее искать поля события;

  • Частое нажатие на включение/выключение агента/коллектора теперь не приводит к зависанию агента/коллектора;

  • Любое изменяющее коллектор действие теперь не требует принудительного рестарта;

    • Сканирование большого количества узлов OID snmp ;

  • Корректно извлекаются отметки времени и стандартные поля схемы ECS при парсинге сообщений форматов CEF, RFC 3164 и RFC;

  • Для оборудования производителя Aruba корректно парсятся MAC адреса в сообщениях Syslog CEF;

  • Отображение даты 01-01-1970 в событиях, в которых не удалось извлечь отметку времени из сырого текста;

  • Фильтрация событий по дате "до" больше не включает события с незаполненной датой, например, если поле CTime не было извлечено из события, включаться в результат фильтрации "до 2021 года" такое событие больше не будет;

  • Стал работать поиск по тегам в активах.

Исправления

  1. В интерфейсе SNMP коллектора теперь корректно отображается IP-адрес цели.

  2. Имя директивы должно быть уникальным.

  3. В случае паники сервисных функций web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением для администратора изучить логи; детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера.

  4. Любое изменяющее коллектор действие теперь не требует принудительного рестарта.

  5. WMI-агент устойчив к нагрузке.

  6. Исправлено соответствие категории и типа ГосСОПКА.

  7. Поля больше не съезжают при прокрутке.

  8. Автоматическое сканирование активов отключено

  9. Добавлен выбор извлечения событий из события (извлекать или нет)

  10. Обновлены шаблоны SQL коллектора.

  11. Возможность создавать пользовательские поля с точкой.

  12. Исправлена ошибка Double root (2 пользователя root при создании пользователя)

  13. Повреждение конфигурационных файлов пользователями (рядом лежат «эталонные» Файлы конфигурации)

  14. Отключение tls-сертификатов теперь возможно с установки.

  15. Ретро-фильтрация не создаёт нагрузку на комрад-процессор.

  16. AssetIPs извлекается корректно

  17. В отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке.

  18. В интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа, если код при проверке оказался невалидным. Исправлен баг, когда при нажатии кнопки «проверить» отсылается запрос с изначальным состоянием кода (до внесения исправлений).

  19. В интерфейсе управления директивами корреляции список ошибок и предупреждений конструктора директивы/код сделан в виде компонента callout.

  20. В интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language).

  21. В интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бекенда не совпадает с отображением на UI).

  22. В интерфейсе управления директивами корреляции добавлены подсказки (hints) к полям ввода на русском и английском языках.

  23. В интерфейсе управления директивами корреляции при нажатии кнопки «Проверить выражение и заполнить поля» происходит автоматическое заполнение полей маппинга; если «Поле нормализации» оказывается пустым, оно подсвечивается красным, и кнопка «Сохранить» вверху становится неактивной.

  24. В интерфейсе управления директивами корреляции если в поле «Пример исходного события» оказался не валидный json, и при нажатии на кнопку «Эвристический анализ паттерна» сервер его обработать не смог (вернул null), сверху загорается всплывающее окно с ошибкой.

  25. При старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе; в случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД, администратор получит уведомление.

  26. Исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС.

  27. Исправлена валидация параметров From и To в генерации отчетов по инцидентам.

  28. В Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов.

  29. Установлены лимиты на размер кэша в Lua-фильтрах.

  30. В карточке «События» теперь больше полей, содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС.

  31. В SQL-коллекторе колонки с именем, равным ECS, записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS.

  32. Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля.

  33. Добавлена возможность удаления пользовательских полей событий.

  34. В интерфейсе работы с плагинами стало удобнее искать поля события.

  35. Исправлена ошибка, когда частое нажатие на включение/выключение агента/коллектора приводило к зависанию агента/коллектора.