Перейти к основному содержимому

1 запись с тегом "olap"

Посмотреть все теги

OLAP-аналитика в KOMRAD SIEM 4.5: превращаем `events.custom` в витрину атрибут–значение и ищем аномалии логинов

· 9 мин. чтения
КОМРАД
КОМРАД
Команда КОМРАД

Аннотация​

KOMRAD SIEM 4.5 хранит события в ClickHouse (база komrad_events, таблица events), где пользовательские/расширенные поля чаще всего попадают в events.custom как “плоский” JSON‑словарь. Это удобно для ingestion и гибкости, но неудобно для последующего OLAP‑анализа: по одному JSON‑полю сложно строить быстрые срезы, сравнения “устройство/пользователь/время”, профили поведения и метрики качества телеметрии.

В этой статье мы показываем проверенный приём: нормализуем custom в пары атрибут–значение и кладём их в отдельную MergeTree‑витрину через Materialized View (безопасно, без POPULATE). На этой витрине решаем 3 практических кейса:

  1. аномальные логины + браузерный fingerprint (включая Fingerprint.UserAgentData.*),
  2. “невозможные” перемещения/резкая смена устройства,
  3. бот/скрипт‑активность по UserAgent/TLS‑параметрам.