История изменений KOMRAD Enterprise SIEM

Версия 4.3

Добавлено

• Гибкая настройка уведомлений, отправка изменений по инцидентам
• Возможность развернуть KOMRAD в Docker
• Защита komrad-bus, по умолчанию bus использует TLS
• Фильтрация на отправку инцидентов, теперь есть возможность определить только те инциденты которые нуждаются в отправке, а не все новые
• Готовый шаблон уведомления на почту, больше нет необходимости прописывать его вручную
  • Появилась возможность добавлять и использовать поля mitre att&ck в директивах и инцидентах
  • Возможность добавлять репутационные списки активов
  • Новый защищённый прокси Komrad_WAF_PROXY
  • WAF настройки безопасности KOMRAD на уровне запросов
  • Добавлен плагин для Suricata
  • Добавлен плагин для nginx
  • Добавлен плагин для auditd
  • Добавлен плагин DNS
  • Добавлен плагин GROK
  • Добавлена возможность создавать новое событие безопасности вместе с инцидентом, либо только событие безопасности без создания инцидента. Функция помогает выстраивать корреляцию распределённых во времени событий, снизить нагрузку ложных срабатываний на оператора
  • Добавлена возможность импорта сетевых активов из файла, либо архива в формате CSV
  • Добавлена возможность переходить по разрешённым ссылкам, если в конфигурации указан список разрешённых для внешнего перехода доменов
  • Обновлено API Для ГосСОПКА
    • Добавлена возможность добавлять промежуточные сертификаты из UI
    • Добавлена валидация ошибок ГосСОПКА
    • Обновлена утилита проксирования запросов от KOMRAD Enterprise SIEM к ГосСОПКА, появилась возможность подстраиваться под обновления API ГосСОПКА
    • Появилась возможность использовать промежуточный сертификат для более безопасного соединения
  • Аутентификация по LDAP
  • Добавлен пассивный сбор по протоколу HTTP-коллектор
    • tcp4/tcp6
    • Защита BasicAuth
    • Возможность выбора метода HTTP
    • Извлечение заголовков HTTP
    • Интеграция со Сканер-ВС
  • Добавлена возможность редактировать шаблон заполнения карточки уведомления по инциденту в уведомлении Liquid (разбивать строку на различные части)
  • Модуль извлечения цифрового отпечатка пользователя из браузера логирует действия пользователя в браузере, события, позволяет отслеживать заходы под чужими логинами и прочие несанкционированные действия внутри SIEM
  • Добавлена команда komrad-cli grpc, позволяющая интерактивно взаимодействовать с gRPC APR SIEM-системы и использовать его в задачах автоматизации пользователя
  • Добавлена утилита komrad-cli db clickhouse backup, позволяющая производить фоновый процесс резервного копирования данных; описание и документация —
    или komrad-cli db clickhouse backup --help ()
  • Добавлена утилита komrad-cli db postgres inspect, позволяющая получать состояние БД PostgreSQL; описание  —  или komrad-cli db postgres inspect --help ()
  • Добавлена утилита komrad-cli grpc; документация или
    komrad-cli grpc --help()
  • Подключен опрос статуса активов в модуле «Активы» ⇒ «Дашборды», реализовано обновление статуса актива через Websockets с отображением в интерфейсе оператора элемента графики «Светофор» для каждого актива внутри дашборда
  • Плагины:
    • Автоматическое извлечение структурированной информации из сообщений в формате JSON
    • Автоматическое извлечение и нормализация событий Suricata
    • Сообщения журналов Windows PowerShell, Sysmon, Security теперь автоматически нормализуются, обогащаются дополнительной информацией
    • В плагинах коллектора теперь можно форматировать описание элементов плагина в Markdown
    • В интерфейсе плагинов коллектора появилась кнопка «Эвристический анализ паттерна»; функция позволяет ввести сырой текст события и получить наиболее подходящее выражение нормализатора KOMRAD Enterprise SIEM для текста; в первой версии работает только для JSON-строк — извлекает все пути JSON в поле «Регулярное выражение»
  • В интерфейсе файлового коллектора появилась возможность выбора способа аутентификации целевого SSH-узла; доступные опции — логин/пароль, публичный сертификат, также возможен выбор
    Strict Host Keys auth
  • Часть текстов системных ошибок переведена на русский язык
  • Доступен сервис подсказок к элементам визуального интерфейса с переводами на различные языки (Accept-Language)
  • В версии 4.3 доступны дополнительные разрезы для отчётов по инцидентам: tenant_id, is_manual
  • Новые функции для Lua-фильтров: event: isEqualSetOfStrings, event: isSupersetOfStrings, event: isEqualSetOfStrings, startsWith, startsWithCaseInsensitive, hasString, hasStringCaseInsensitive, hasSubString, hasSubStringCaseInsensitive, hasNonASCIICharsAtLeast, hasASCIICharsAtLeast, containsAny
  • Rate Limit или защита от DOS-атак. В файле конфигурации Вы можете задать ограничения числа запросов к HTTP
  • Добавлена защита от атаки Slowloris. В файле конфигурации Вы можете задать время сброса HTTP-соединения при условии, если идут только HTTP-заголовки, а тело запроса долго не идёт.

Изменено

1. Переработка SNMP:

   • Существенно доработана обработка протоколов версии v1, v2, v3
   • Появилось больше параметров настройки защиты соединения
   • Добавлен визуальный инструмент опроса и анализа устройств, навигация по OID устройства для выбора целей сбора информации
   • Расширенная настройки для SNMP Traps Server

2. Обновлены компоненты:

   • ClickHouse до версии v22.9.3.18 последними патчами, отдельная сборка ClickHouse AVX-512/BMI для увеличения быстродействия работы системы на процессорах с AVX-512/BMI на 15-25%
   • Добавлена утилита для фоновых бэкапов БД ClickHouse komrad-cli db clickhouse backup
   • Обновлён Nmap до v7.92
   • Переработана сборка system service пакетов, инсталляция и эксплуатация теперь более надёжны, исправлены многие известные проблемы, пакеты валидируются debian lintian
   • Добавлена интерактивная документация API KOMRAD Enterprise SIEM в формате OpenAPI 2.0/Swagger в основной визуальный интерфейс

3. Обновлён и улучшен интеграционный тест коррелятора

4. Лицензия:

   • Лицензия не блокирует старт komrad-server и komrad-processor
   • Изменено ограничение запуска коллекторов лицензией
   • Изменена загрузка лицензии из директории

5. Ускорена Lua-фильтрация за счёт оптимизации горячих точек кода и применения кодогенерации потока безопасных ассоциативных словарей

6. Снижена нагрузка на CPU для коллекторов в условиях большого потока событий за счёт использования пула структур события

7. Фильтрация событий в komrad-processor ускорена на 40%, потребление памяти под нагрузкой снизилось

   в 2 раза

8. Оптимизирована упаковка событий в пакеты внутри коллекторов и агентов, что потенциально снижает приблизительно в 2 раза требования к памяти и увеличивает скорость сжатия пакетов событий примерно

   в 1,75 раза

9. Добавлен параметр min-version для конфигураций TLS, варианты – ssl, 1.0, 1.1, 1.2, 1.3

10. Добавлен параметр client-auth для конфигураций TLS, варианты – no_client_cert, request_client_cert, require_any_client_cert, verify_client_cert_if_given

11. Расширено отображение данных о пользователях

12. Обновлены поля ECS

13. Журналы Windows ForwardedEvents и Setup теперь отображаются в интерфейсе управления агентом Windows

14. Журнал Sysmon теперь отображается в списке журналов Windows в интерфейсе управления агентом Windows

15. Поддержка SQLite для Linux и Windows в стандартных SQL-коллекторах, без CGO

16. Реализована передача внутренних логов коллектора в komrad-processor, интерфейс доступа к логам коллектора с возможностью поиска по вхождению подстроки, регулярного выражения либо примерного регулярного выражения, сортировка

17. В интерфейсе файлового коллектора разделена функция валидации на валидацию соединения к целевому узлу и валидацию единичных файлов

18. Отчёт по действиям пользователей стал дополненным

19. WMI-агент: новые параметры, гибкая настройка вычитываемых журналов, количества событий, подсказки, количество EPS увеличилось

20. Фильтр проверятся при создании на ошибки

21. В syslog-коллекторе только один автоматический парсер на выбор, чтобы ожидаемое событие не парсилось по-разному

22. Настройки почты стали более гибкими

23. Уведомления по syslog получили возможность использования TLS

24. Исправлены шаблоны для БД в sql-коллекторе

Исправлено

• В интерфейсе SNMP-коллектора теперь корректно отображается IP-адрес цели
• Имя директивы должно быть уникальным
• Улучшены сообщения об ошибке при валидации кода директивы, добавлены переводы на русский и английский языки
• В случае паники сервисных функций Web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением изучить логи для администратора, детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера
• В отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке
• В интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа если код при проверке оказался невалидным. Исправлен баг, когда нажимаешь кнопку проверить, и отсылается запрос с состоянием кода, который был изначально
• В интерфейсе управления директивами корреляции список ошибок конструктора директивы/код сделан в виде компонента callout
• В интерфейсе управления директивами корреляции список предупреждений конструктор директивы/код сделан в виде компонента callout
• В интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language)
• В интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бэкенда не совпадает с отображением на UI)
• В интерфейсе управления директивами корреляции добавлены подсказки (hints) русский/английский к полям ввода
• В интерфейсе управления директивами корреляции при нажатии кнопки "Проверить выражение и заполнить поля" происходит автоматическое заполнение полей маппинга, если поле "Поле нормализации" оказывается пустым, оно подсвечивается красным и кнопка сохранить вверху становится неактивной
• В интерфейсе управления директивами корреляции если в поле "Пример исходного события" оказался невалидный json, и при нажатии на кнопку "Эвристический анализ паттерна" сервер его обработать не смог (вернул null) сверху загорается всплывающее окно с ошибкой
• Теперь при старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе. В случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД — администратор получит уведомление
• Исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС
• Исправлена валидация параметров From и To в генерации отчетов по инцидентам
• В Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов
• Установлены лимиты на размер кэша в фильтрах Lua
• В карточке события теперь больше полей содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС
• В SQL-коллекторе колонки с именем равным ECS записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS
• Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля
• Удаление пользовательских полей событий теперь возможно
• В интерфейсе работы с плагинами стало удобнее искать поля события
• Частое нажатие на включение/выключение агента/коллектора теперь не приводит к зависанию агента/коллектора
• Любое изменяющее коллектор действие теперь не требует принудительного рестарта
• Сканирование большого количества узлов OID snmp
• Корректно извлекаются отметки времени и стандартные поля схемы ECS при парсинге сообщений форматов CEF, RFC 3164 и RFC
• Для оборудования производителя Aruba корректно парсятся MAC-адреса в сообщениях Syslog CEF
• Отображение даты 01-01-1970 в событиях, в которых не удалось извлечь отметку времени из сырого текста
• Фильтрация событий по дате "до" больше не включает события с незаполненной датой, например, если поле CTime не было извлечено из события, включаться в результат фильтрации "до 2021 года" такое событие больше не будет
• Стал работать поиск по тегам в активах

Исправления

1. В интерфейсе SNMP-коллектора теперь корректно отображается IP-адрес цели
2. Имя директивы должно быть уникальным
3. В случае паники сервисных функций web-клиента теперь в интерфейс пользователя возвращается общий текст о возникновении ошибки с предложением для администратора изучить логи; детали паники могут содержать уязвимости кода, поэтому теперь не выводятся в интерфейс браузера
4. Любое изменяющее коллектор действие теперь не требует принудительного рестарта
5. WMI-агент устойчив к нагрузке
6. Исправлено соответствие категории и типа ГосСОПКА
7. Поля больше не съезжают при прокрутке
8. Автоматическое сканирование активов отключено
9. Добавлен выбор извлечения событий из события (извлекать или нет)
10. Обновлены шаблоны SQL-коллектора
11. Возможность создавать пользовательские поля с точкой
12. Исправлена ошибка Double root (2 пользователя root при создании пользователя)
13. Повреждение конфигурационных файлов пользователями (рядом лежат «эталонные» Файлы конфигурации)
14. Отключение tls-сертификатов теперь возможно с установки
15. Ретро-фильтрация не создаёт нагрузку на KOMRAD-процессор
16. AssetIPs извлекается корректно
17. В отчётах по инциденту теперь содержится имя директивы, добавлены разрезы по предприятию (tenant-id), статусу обработки инцидента в ГосСОПКА, типу инцидента (автоматический/создан вручную), добавлены переводы сообщений об ошибке
18. В интерфейсе управления директивами корреляции добавлено сообщение об ошибке справа, если код при проверке оказался невалидным. Исправлен баг, когда при нажатии кнопки «проверить» отсылается запрос с изначальным состоянием кода (до внесения исправлений)
19. В интерфейсе управления директивами корреляции список ошибок и предупреждений конструктора директивы/код сделан в виде компонента callout
20. В интерфейсе управления директивами корреляции добавлено автоматическое обновление языка ошибок и предупреждений (когда пользователь меняет язык, новый запрос с соответствующим Accept-Language)
21. В интерфейсе управления директивами корреляции исправлен баг, связанный с неактуальным состоянием ошибок (когда ответ бэкенда не совпадает с отображением на UI)
22. В интерфейсе управления директивами корреляции добавлены подсказки (hints) к полям ввода на русском и английском языках
23. В интерфейсе управления директивами корреляции при нажатии кнопки «Проверить выражение и заполнить поля» происходит автоматическое заполнение полей маппинга; если «Поле нормализации» оказывается пустым, оно подсвечивается красным, и кнопка «Сохранить» вверху становится неактивной.
24. В интерфейсе управления директивами корреляции, если в поле «Пример исходного события» оказался не валидный json, и при нажатии на кнопку «Эвристический анализ паттерна» сервер его обработать не смог (вернул null), сверху загорается всплывающее окно с ошибкой.
25. При старте коллектора, если специальный блок конфигурации целей сбора коллектора или агента был не пустой, эта конфигурация будет сохранена в базе данных и показана в визуальном интерфейсе; в случае если локальная конфигурация в yaml изменится и войдёт в конфликт с конфигурацией в БД, администратор получит уведомление
26. Исправлены ошибки работы фильтра IP-адресов в коллекторе — теперь корректно распознаются теги Сканер-ВС
27. Исправлена валидация параметров From и To в генерации отчетов по инцидентам
28. В Lua-фильтрах теперь корректно происходит фильтрация для полей типа строка и строковой массив при поиске на вхождение строки, вхождение подстроки, наличие символов
29. Установлены лимиты на размер кэша в Lua-фильтрах
30. В карточке «События» теперь больше полей, содержащих IP, либо адрес FQDN линкуется с активами Сканер-ВС
31. В SQL-коллекторе колонки с именем, равным ECS, записываются без изменения (с точкой), позволяя проще производить извлечение событий в ECS
32. Кэш полей событий теперь корректно обновляется после добавления/изменения/удаления поля
33. Добавлена возможность удаления пользовательских полей событий
34. В интерфейсе работы с плагинами стало удобнее искать поля события
35. Исправлена ошибка, когда частое нажатие на включение/выключение агента/коллектора приводило к зависанию агента/коллектора