Перейти к основному содержимому
Версия: 4.3.58

История изменений KOMRAD Enterprise SIEM

Версия 4.3

Добавлено

  • Гибкая настройка уведомлений, отправка изменений по инцидентам
  • Возможность развернуть KOMRAD в Docker
  • Защита komrad-bus, по умолчанию bus использует TLS
  • Фильтрация на отправку инцидентов, теперь есть возможность определить только те инциденты которые нуждаются в отправке, а не все новые
  • Готовый шаблон уведомления на почту, больше нет необходимости прописывать его вручную
    • Появилась возможность добавлять и использовать поля mitre att&ck в директивах и инцидентах
    • Возможность добавлять репутационные списки активов
    • Новый защищённый прокси Komrad_WAF_PROXY
    • WAF настройки безопасности KOMRAD на уровне запросов
    • Добавлен плагин для Suricata
    • Добавлен плагин для nginx
    • Добавлен плагин для auditd
    • Добавлен плагин DNS
    • Добавлен плагин GROK
    • Добавлена возможность создавать новое событие безопасности вместе с инцидентом, либо только событие безопасности без создания инцидента. Функция помогает выстраивать корреляцию распределённых во времени событий, снизить нагрузку ложных срабатываний на оператора
    • Добавлена возможность импорта сетевых активов из файла, либо архива в формате CSV
    • Добавлена возможность переходить по разрешённым ссылкам, если в конфигурации указан список разрешённых для внешнего перехода доменов
    • Обновлено API Для ГосСОПКА
      • Добавлена возможность добавлять промежуточные сертификаты из UI
      • Добавлена валидация ошибок ГосСОПКА
      • Обновлена утилита проксирования запросов от KOMRAD Enterprise SIEM к ГосСОПКА, появилась возможность подстраиваться под обновления API ГосСОПКА
      • Появилась возможность использовать промежуточный сертификат для более безопасного соединения
    • Аутентификация по LDAP
    • Добавлен пассивный сбор по протоколу HTTP-коллектор
      • tcp4/tcp6
      • Защита BasicAuth
      • Возможность выбора метода HTTP
      • Извлечение заголовков HTTP
      • Интеграция со Сканер-ВС
    • Добавлена возможность редактировать шаблон заполнения карточки уведомления по инциденту в уведомлении Liquid (разбивать строку на различные части)
    • Модуль извлечения цифрового отпечатка пользователя из браузера логирует действия пользователя в браузере, события, позволяет отслеживать заходы под чужими логинами и прочие несанкционированные действия внутри SIEM
    • Добавлена команда komrad-cli grpc, позволяющая интерактивно взаимодействовать с gRPC APR SIEM-системы и использовать его в задачах автоматизации пользователя
    • Добавлена утилита komrad-cli db clickhouse backup, позволяющая производить фоновый процесс резервного копирования данных; описание и документация —
      или komrad-cli db clickhouse backup --help ()
    • Добавлена утилита komrad-cli db postgres inspect, позволяющая получать состояние БД PostgreSQL; описание  —  или komrad-cli db postgres inspect --help ()
    • Добавлена утилита komrad-cli grpc; документация или
      komrad-cli grpc --help()
    • Подключен опрос статуса активов в модуле «Активы» ⇒ «Дашборды», реализовано обновление статуса актива через Websockets с отображением в интерфейсе оператора элемента графики «Светофор» для каждого актива внутри дашборда
    • Плагины:
      • Автоматическое извлечение структурированной информации из сообщений в формате JSON
      • Автоматическое извлечение и нормализация событий Suricata
      • Сообщения журналов Windows PowerShell, Sysmon, Security теперь автоматически нормализуются, обогащаются дополнительной информацией
      • В плагинах коллектора теперь можно форматировать описание элементов плагина в Markdown
      • В интерфейсе плагинов коллектора появилась кнопка «Эвристический анализ паттерна»; функция позволяет ввести сырой текст события и получить наиболее подходящее выражение нормализатора KOMRAD Enterprise SIEM для текста; в первой версии работает только для JSON-строк — извлекает все пути JSON в поле «Регулярное выражение»
    • В интерфейсе файлового коллектора появилась возможность выбора способа аутентификации целевого SSH-узла; доступные опции — логин/пароль, публичный сертификат, также возможен выбор
      Strict Host Keys auth
    • Часть текстов системных ошибок переведена на русский язык
    • Доступен сервис подсказок к элементам визуального интерфейса с переводами на различные языки (Accept-Language)
    • В версии 4.3 доступны дополнительные разрезы для отчётов по инцидентам: tenant_id, is_manual
    • Новые функции для Lua-фильтров: event: isEqualSetOfStrings, event: isSupersetOfStrings, event: isEqualSetOfStrings, startsWith, startsWithCaseInsensitive, hasString, hasStringCaseInsensitive, hasSubString, hasSubStringCaseInsensitive, hasNonASCIICharsAtLeast, hasASCIICharsAtLeast, containsAny
    • Rate Limit или защита от DOS-атак. В файле конфигурации Вы можете задать ограничения числа запросов к HTTP
    • Добавлена защита от атаки Slowloris. В файле конфигурации Вы можете задать время сброса HTTP-соединения при условии, если идут только HTTP-заголовки, а тело запроса долго не идёт.

Изменено

  1. Переработка SNMP:

    • Существенно доработана обработка протоколов версии v1, v2, v3
    • Появилось больше параметров настройки защиты соединения
    • Добавлен визуальный инструмент опроса и анализа устройств, навигация по OID устройства для выбора целей сбора информации
    • Расширенная настройки для SNMP Traps Server
  2. Обновлены компоненты:

    • ClickHouse до версии v22.9.3.18 последними патчами, отдельная сборка ClickHouse AVX-512/BMI для увеличения быстродействия работы системы на процессорах с AVX-512/BMI на 15-25%
    • Добавлена утилита для фоновых бэкапов БД ClickHouse komrad-cli db clickhouse backup
    • Обновлён Nmap до v7.92
    • Переработана сборка system service пакетов, инсталляция и эксплуатация теперь более надёжны, исправлены многие известные проблемы, пакеты валидируются debian lintian
    • Добавлена интерактивная документация API KOMRAD Enterprise SIEM в формате OpenAPI 2.0/Swagger в основной визуальный интерфейс
  3. Обновлён и улучшен интеграционный тест коррелятора

  4. Лицензия:

    • Лицензия не блокирует старт komrad-server и komrad-processor
    • Изменено ограничение запуска коллекторов лицензией
    • Изменена загрузка лицензии из директории
  5. Ускорена Lua-фильтрация за счёт оптимизации горячих точек кода и применения кодогенерации потока безопасных ассоциативных словарей

  6. Снижена нагрузка на CPU для коллекторов в условиях большого потока событий за счёт использования пула структур события

  7. Фильтрация событий в komrad-processor ускорена на 40%, потребление памяти под нагрузкой снизилось

    в 2 раза

  8. Оптимизирована упаковка событий в пакеты внутри коллекторов и агентов, что потенциально снижает приблизительно в 2 раза требования к памяти и увеличивает скорость сжатия пакетов событий примерно

    в 1,75 раза

  9. Добавлен параметр min-version для конфигураций TLS, варианты – ssl, 1.0, 1.1, 1.2, 1.3

  10. Добавлен параметр client-auth для конфигураций TLS, варианты – no_client_cert, request_client_cert, require_any_client_cert, verify_client_cert_if_given

  11. Расширено отображение данных о пользователях

  12. Обновлены поля ECS

  13. Журналы Windows ForwardedEvents и Setup теперь отображаются в интерфейсе управления агентом Windows

  14. Журнал Sysmon теперь отображается в списке журналов Windows в интерфейсе управления агентом Windows

  15. Поддержка SQLite для Linux и Windows в стандартных SQL-коллекторах, без CGO

  16. Реализована передача внутренних логов коллектора в komrad-processor, интерфейс доступа к логам коллектора с возможностью поиска по вхождению подстроки, регулярного выражения либо примерного регулярного выражения, сортировка

  17. В интерфейсе файлового коллектора разделена функция валидации на валидацию соединения к целевому узлу и валидацию единичных файлов

  18. Отчёт по действиям пользователей стал дополненным

  19. WMI-агент: новые параметры, гибкая настройка вычитываемых журналов, количества событий, подсказки, количество EPS увеличилось

  20. Фильтр проверятся при создании на ошибки

  21. В syslog-коллекторе только один автоматический парсер на выбор, чтобы ожидаемое событие не парсилось по-разному

  22. Настройки почты стали более гибкими

  23. Уведомления по syslog получили возможность использования TLS

  24. Исправлены шаблоны для БД в sql-коллекторе

Исправлено

  • В интерфейсе SNMP-коллектора теперь корректно отображается IP-адрес цели
  • Имя директивы должно быть уникальным
  • Улучшены сообщения об ошибке при валидации кода директивы, добавлены переводы на русский и английский языки
  • В случае паники сервисных функций Web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением изучить логи для администратора, детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера
  • В отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке
  • В интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа если код при проверке оказался невалидным. Исправлен баг, когда нажимаешь кнопку проверить, и отсылается запрос с состоянием кода, который был изначально
  • В интерфейсе управления директивами корреляции список ошибок конструктора директивы/код сделан в виде компонента callout
  • В интерфейсе управления директивами корреляции список предупреждений конструктор директивы/код сделан в виде компонента callout
  • В интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language)
  • В интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бэкенда не совпадает с отображением на UI)
  • В интерфейсе управления директивами корреляции добавлены подсказки (hints) русский/английский к полям ввода
  • В интерфейсе управления директивами корреляции при нажатии кнопки "Проверить выражение и заполнить поля" происходит автоматическое заполнение полей маппинга, если поле "Поле нормализации" оказывается пустым, оно подсвечивается красным и кнопка сохранить вверху становится неактивной
  • В интерфейсе управления директивами корреляции если в поле "Пример исходного события" оказался невалидный json, и при нажатии на кнопку "Эвристический анализ паттерна" сервер его обработать не смог (вернул null) сверху загорается всплывающее окно с ошибкой
  • Теперь при старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе. В случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД — администратор получит уведомление
  • Исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС
  • Исправлена валидация параметров From и To в генерации отчетов по инцидентам
  • В Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов
  • Установлены лимиты на размер кэша в фильтрах Lua
  • В карточке события теперь больше полей содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС
  • В SQL-коллекторе колонки с именем равным ECS записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS
  • Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля
  • Удаление пользовательских полей событий теперь возможно
  • В интерфейсе работы с плагинами стало удобнее искать поля события
  • Частое нажатие на включение/выключение агента/коллектора теперь не приводит к зависанию агента/коллектора
  • Любое изменяющее коллектор действие теперь не требует принудительного рестарта
  • Сканирование большого количества узлов OID snmp
  • Корректно извлекаются отметки времени и стандартные поля схемы ECS при парсинге сообщений форматов CEF, RFC 3164 и RFC
  • Для оборудования производителя Aruba корректно парсятся MAC-адреса в сообщениях Syslog CEF
  • Отображение даты 01-01-1970 в событиях, в которых не удалось извлечь отметку времени из сырого текста
  • Фильтрация событий по дате "до" больше не включает события с незаполненной датой, например, если поле CTime не было извлечено из события, включаться в результат фильтрации "до 2021 года" такое событие больше не будет
  • Cтал работать поиск по тегам в активах

Исправления

  1. В интерфейсе SNMP-коллектора теперь корректно отображается IP-адрес цели
  2. Имя директивы должно быть уникальным
  3. В случае паники сервисных функций web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением для администратора изучить логи; детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера
  4. Любое изменяющее коллектор действие теперь не требует принудительного рестарта
  5. WMI-агент устойчив к нагрузке
  6. Исправлено соответствие категории и типа ГосСОПКА
  7. Поля больше не съезжают при прокрутке
  8. Автоматическое сканирование активов отключено
  9. Добавлен выбор извлечения событий из события (извлекать или нет)
  10. Обновлены шаблоны SQL-коллектора
  11. Возможность создавать пользовательские поля с точкой
  12. Исправлена ошибка Double root (2 пользователя root при создании пользователя)
  13. Повреждение конфигурационных файлов пользователями (рядом лежат «эталонные» Файлы конфигурации)
  14. Отключение tls-сертификатов теперь возможно с установки
  15. Ретро-фильтрация не создаёт нагрузку на KOMRAD-процессор
  16. AssetIPs извлекается корректно
  17. В отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке
  18. В интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа, если код при проверке оказался невалидным. Исправлен баг, когда при нажатии кнопки «проверить» отсылается запрос с изначальным состоянием кода (до внесения исправлений)
  19. В интерфейсе управления директивами корреляции список ошибок и предупреждений конструктора директивы/код сделан в виде компонента callout
  20. В интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language)
  21. В интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бекенда не совпадает с отображением на UI)
  22. В интерфейсе управления директивами корреляции добавлены подсказки (hints) к полям ввода на русском и английском языках
  23. В интерфейсе управления директивами корреляции при нажатии кнопки «Проверить выражение и заполнить поля» происходит автоматическое заполнение полей маппинга; если «Поле нормализации» оказывается пустым, оно подсвечивается красным, и кнопка «Сохранить» вверху становится неактивной.
  24. В интерфейсе управления директивами корреляции, если в поле «Пример исходного события» оказался не валидный json, и при нажатии на кнопку «Эвристический анализ паттерна» сервер его обработать не смог (вернул null), сверху загорается всплывающее окно с ошибкой.
  25. При старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе; в случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД, администратор получит уведомление
  26. Исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС
  27. Исправлена валидация параметров From и To в генерации отчетов по инцидентам
  28. В Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов
  29. Установлены лимиты на размер кэша в Lua-фильтрах
  30. В карточке «События» теперь больше полей, содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС
  31. В SQL-коллекторе колонки с именем, равным ECS, записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS
  32. Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля
  33. Добавлена возможность удаления пользовательских полей событий
  34. В интерфейсе работы с плагинами стало удобнее искать поля события
  35. Исправлена ошибка, когда частое нажатие на включение/выключение агента/коллектора приводило к зависанию агента/коллектора