Перейти к основному содержимому
Версия: 4.3.58

Подключение с помощью файлового коллектора

Конфигурация

Для редактирования конфигурационного файла выполните команду:

sudo nano /etc/echelon/komrad/komrad-file-collector.yaml
### schema: komrad/komrad-file-collector/4.1.33
# Идентификатор предприятия
tenant_id: 75
# Идентификатор установки
setup_id: komrad-production
# Метка безопасности, аналог Oracle Security Label
sl: 715
bus:
servers:
- nats://[ip_bus]:3490
user: komrad
password: pass
user-credentials: ""
tls:
disable: false
ServerName: ""
TrustedCA: /var/lib/echelon/komrad/certs/ca.pem
Cert: /var/lib/echelon/komrad/certs/client.pem
CertKey: /var/lib/echelon/komrad/certs/client-key.pem
system-pool: false
min-version: "1.3"
client-auth: require-and-verify-client-cert
tuning:
# Возможность установить время ожидания при соединении.
connect-timeout: 10s
# Возможность установить максимальное количество попыток повторного подключения.
max-reconnects: 1000000
# Устанавливает максимальное количество времени, в течение которого мы будем ждать ответа.
max-wait: 0s
# Параметр для установки периода для клиентских команд ping.
ping-interval: 2m
# Возможность установить максимальное количество запросов ping,
# которые могут остаться без ответа сервера, прежде чем закрыть соединение.
max-pings-outstanding: 2
# Устанавливает максимальное количество незавершенных асинхронных публикаций,
# которые могут быть одновременно запущены.
publish-async-max-pending: 0
# Интервал переподключения.
reconnect-interval: 5s
# Возможность установить время ожидания между попытками повторного подключения.
reconnect-wait: 1s
# Устанавливает соединение в состояние повторного подключения, если оно не может подключиться.
retry-on-failed-connect: false
# Таймаут между попытками рестарта коллектора во время неустойчивой связи с центральным сервером KOMRAD
restart-timeout: 1s
# local_ip: 10.0.0.1
# Настройки пакетного сбора данных - включает накопление событий в пакеты
# для оптимизации скорости передачи информации.
# Например, увеличение параметра timeout до 3s и limit до 20000 позволяет достигать 100 000 EPS.
batching:
# предельный интервал времени накопления пакетов, по умолчанию 1 секунда
timeout: 1s
# предельный лимит событий в пакете, по умолчанию - 100
limit: 1000
# Настройки write-ahead-log (WAL) - механизма записи на диск событий
# в случае разрыва соединения с сетью. События пишутся на диск в сжатом виде, в случае
# восстановления соединения с сетью сжатые пакеты событий направляются в шину событий KOMRAD.
# Рекомендуется контролировать объем свободного дискового пространства на узле с коллектором/агентом.
wal:
# Путь до папки в которой будет храниться конфигурационная информация коллектора/агента.
# Конфигурация хранится в сжатом, зашифрованном виде.
# Если путь не указан, будет выбрана папка по-умолчанию:
# - для Windows:
# C:\Program Files\Echelon\komrad\<name>-collector\.wal
# - для Linux:
# /var/lib/echelon/komrad/<name>-collector/.wal
# В случае установки нескольких одинаковых коллекторов на один хост необходимо устанавливать
# раздельные пути до хранилища каждого коллектора, путь к хранилищу одного коллектора не должен
# быть вложенным в путь до хранилища другого коллектора.
path: /var/lib/echelon/komrad/komrad-file-collector/.wal
# no-copy -- когда равен true включается режим оптимизации работы с памятью,
# изменять значение стоит лишь при рекомендации Службы Поддержки.
no-copy: true
# segment-size -- размер одного сегмента WAL, по умолчанию 4 Кб,
# изменять значение стоит лишь при рекомендации Службы Поддержки.
segment-size: 4MB
# max-length - максимальная длина WAL, если равно 0 длина не ограничена.
max-length: 0
# Настройки вывода логов приложения.
# Сервис может отправлять логи сразу в несколько целей -- файл, системный журнал ОС, консоль, syslog.
# Включить вывод логов в консоль для режима отладки приложения
# - filename: stdout
# format: color
# filter: ""
# levels: [all]
# Включить вывод логов в файл с ротацией.
# ВАЖНО: старые файлы с логами не удаляются, необходимо производить мониторинг использования диска.
# - filename: "/var/log/echelon/komrad/service.log"
# format: json
# возможно задать выражение для фильтрации выводимых логов
# filter: ""
# levels: [info, error, warn, panic, fatal]
# Отправлять критические сообщения в Журнал Windows.
# ВНИМАНИЕ: не стоит включать levels (info, warn, debug, error) в windowseventlog , это может
# крайне негативно сказаться на быстродействии и доступности узла.
# - filename: windowseventlog
# format: json
# levels: [panic, fatal]
log:
- filename: systemd/journal
format: json
filter: ""
levels:
- info
- error
- panic
- fatal
- warn
# Настройки дискового хранилища конфигурационной информации коллектора/агента
storage:
# Путь до папки в которой будет храниться конфигурационная информация коллектора/агента.
# Конфигурация хранится в сжатом, зашифрованном виде.
# Если путь не указан, будет выбрана папка по-умолчанию:
# - для Windows:
# C:\Program Files\Echelon\komrad\<name>-collector\.storage
# - для Linux:
# /var/lib/echelon/komrad/<name>-collector/.storage
# В случае установки нескольких одинаковых коллекторов на один хост необходимо устанавливать
# раздельные пути до хранилища каждого коллектора, путь к хранилищу одного коллектора не должен
# быть вложенным в путь до хранилища другого коллектора.
path: /var/lib/echelon/komrad/komrad-file-collector/.storage
compress: false
# Включить режим синхронной записи каждого результата на диск, по-умолчанию отключено
sync-writes: false
# Параметры для создания защищённых соединений с источниками событий
auth:
# TLS для создания защищённого соединения с источниками событий
tls:
disable: true
# Имя сервера
server-name: ""
# Корневой сертификат Центра Сертификации
trusted-ca: ""
# Сертификат TLS
cert: ""
# Приватный ключ сертификата TLS
cert-key: ""
ssh:
# Путь до файла с приватным ключом сертификата
private-key: ""
# Парольная фраза для авторизации по SSH с помощью сертификата при включённой опции
# использования парольной фразы.
# Используется для установки SSH соединения с использованием сертификатов
passphrase: ""
# НЕБЕЗОПАСНО: включение данного флага позволяет игнорировать предупреждения
# безопасности о незащищённом SSH соединении.
allow-insecure: false
# Таймаут SSH соединения, в секундах, по умолчанию 10.
timeout: 10
# Настройки для получения секретов и сертификатов из Hashicorp Vault (в komrad-vault)
vault:
# Адрес vault
addr: null
# Токен доступа к vault
token: null
tls: null
# Путь к базе данных GeoIP
geo-ip:
path: /var/lib/echelon/komrad/komrad-file-collector/geoip/db.mmdb
# Проверка на корректность базы данных geoIP при инициализации geodata.
# Полезная опция, чтобы удостоверится, что база mmdb не содержит ошибок.
# Однако верификация длится от 20 секунд до 2х минут в зависимости от ресурсов
# и размера базы геоданных. По умолчанию опция отключена.
verify-on-start: false
# Отключить запись исходного текста события в поле Raw.
# Большинство требований регулятора требуют сохранять текст исходного события.
# Сохранение исходного текста события влияет на размер БД для хранения событий,
# возможно повышение требований в 2-10 раз.
# Коллекторы WMI, SQL, SNMP, xFLOW всё, что получают от протоколов источников
# сбора сохраняют в нормализованные поля события. Поле Raw заполняется
# синтетическими данными -- нормализованные поля в формате JSON.
# Рекомендуется установить `disable-raw-field: true` для коллекторов типа WMI, SQL, SNMP, xFLOW
# для сохранения затрат на хранение избыточных данных.
# Коллекторы Syslog и File имеют доступ к исходному тексту события, отключать запись в Raw
# для этих коллекторов невозможно.
disable-raw-field: false
# Использовать при работе только в локальном автономном режиме
offline: false
events_file: ""

Подключение нового файлового коллектора

Предварительные условия:

Для установки файлового коллектора на определенный узел, необходимо:

  1. На узле-источнике создать директорию, в которую необходимо переместить deb-пакет

    komrad-file-collector*.deb из дистрибутива KOMRAD

  2. Установить из папки Файловый коллектор командой:

    sudo dpkg -i ./komrad-file-collector*.deb
  3. Открыть файл komrad-file-collector.yaml командой:

    sudo nano /etc/echelon/komrad/komrad-file-collector.yaml
  4. Отредактировать параметр bus-url, задав IP-адрес сервера KOMRAD:

    bus: 
    servers:
    - nats://IP_ KOMRAD»:3490
  5. Сохранить файл и перезагрузить Файловый коллектор командой:

    sudo systemctl restart komrad-file-collector.service
  6. Новый файловый коллектор отобразится в списке коллекторов в веб-интерфейсе

Подключение новых источников событий

Расположение: manage ⇒ Настройки коллекторов ⇒ Файловый коллектор

Действия по подключению:

  1. Кликните по файловому коллектору
  2. С помощью кнопки «Редактировать» при необходимости задайте название коллектора
  3. На вкладке «Источники» нажмите на кнопку «Добавить». Справа появится форма создания нового источника для файлового коллектора
  4. Задайте параметры подключения на вкладке «Подключение» формы создания нового источника:
    • Название - название узла источника
    • Описание - описание источника
    • Актив - IP-адрес узла источника
    • Протокол - протокол сбора: SFTP/Локальная машина
    • Порт
    • Логин и пароль учетной записи, также поддерживается возможность авторизации по ключу (сертификату)

Действия по сбору:

  1. Добавьте необходимые для передачи в KOMRAD файлы, задав полные пути к ним на вкладке «Сбор»
  2. Включите сбор для каждого добавленного файла
  3. Включите коллектор, если он был выключен или перезагрузите, если он был включен
  4. На узле-источнике убедитесь, что события регистрируются в указанных файлах
  5. Для просмотра событий, поступающих от подключенного источника в KOMRAD, перейдите на дашборд событий в реальном времени: События ⇒ События в реальном времени

Дополнительно:

  1. Для обеспечения возможности подключения с использованием ключа (сертификата) необходимо сохранить его копию в директории $HOME/.ssh
  2. Необходимо удостоверится, что у файла, который планируется собирать файловым коллектором, настроено право на чтение пользователем, с помощью которого будет осуществляться сбор

Удаление

Удалить файловый коллектор можно с помощью команды:

sudo dpkg -P komrad-file-collector