Хранилище телеметрии

Предварительные условия

Перед установкой необходимо убедиться, что:

  • У серверов заданы hostname.

  • Сервер Хранилища телеметрии и Сервер управления BI.ZONE EDR имеют связанность по имени, а в случае отсутствия скорректирован файл hosts.

  • Имеется сетевой доступ по требуемым портам между узлом Хранилища телеметрии и Сервером управления BI.ZONE EDR.

    Примечание: при использовании AI-помощника также должен быть сетевой доступ до https://update.bi.zone/. При этом сообщение No required SSL certificate was sent не является ошибкой.

  • Используются рекомендуемые пути для монтирования дисков: /opt/ssd (для SSD) и /opt/hdd (для SAS).

  • Для Astra Linux SE: система работает в базовом режиме защиты (Орел): astra-modeswitch set 0 (после переключения требуется перезагрузка хоста).

  • На сервер Хранилища телеметрии загружены файлы репозитория в соответствии с типом ОС

    Файлы репозитория

    Операционные системы

    Oracle Linux

    RedOS

    Ubuntu Server

    Astra Linux

    Shared

    Nexus

    (base_nexus.tar.gz)

    +

    +

    +

    +

    Java

    (base_java.tar.gz)

    +

    +

    +

    +

    Docker (base_docker.tar.gz)

    +

    +

    +

    +

    Pip

    (base_pip.tar.gz)

    +

    +

    +

    +

    Clickhouse (base_clickhouse.tar.gz)

    +

    +

    +

    +

    Default (base_default.tar.gz)

    +

    +

    +

    +

    OS

    specified

    Apt

    (spec_apt.tar.gz)

    -

    -

    +

    -

    Astra

    (spec_astra.tar.gz)

    -

    -

    -

    +

    docker-apt

    (spec_docker-apt.tar.gz)

    -

    -

    +

    +

    Oracle

    (spec_oracle.tar.gz)

    +

    -

    -

    -

    Oracle python3

    (spec_oracle_python.tar.gz)

    +

    -

    -

    -

    Redos

    (spec_redos.tar.gz)

    -

    +

    -

    -

Подготовка

  1. Создайте папку:

    mkdir -p /opt/storage

  2. Перенесите в папку архивы согласно структуре:

    /opt/storage:
 ├── box_infra_X.X.X.tar.gz  
 ├── nexus_X.X.X.tar.gz   
 ├── base java.tar.gz
 ├── base_docker.tar.gz
 ├── base_pip.tar.gz
 ├── base_clickhouse.tar.gz
 ├── base_default.tar.gz    
 └── %OS specified package%

  3. Распакуйте архив:

    cd /opt/storage
tar -xvf box_infra.tar.gz

  4. Для настройки средств автоматизированной установки перейдите к файлу конфигурации:

    /opt/storage/box_infra/inventory/ultra_onenode%OS%/hosts.

    Примечание: %OS% — параметр используемой операционной системы.

  5. Отредактируйте параметры:

    • ansible_user — имя пользователя на системе;

    • ansible_password — пароль пользователя указанного в ansible_user;

    • ansible_become_password — пароль пользователя для получения sudo прав;

    • ansible_host — IP-адрес сервера, указывать 127.0.0.1 недопустимо, необходим реальный внешний IP-адрес;

    • ansible_port — порт ssh.

    Пример заполнения:

    controller:
  hosts:
    controller:
      ansible_host: 10.10.10.10
      ansible_port: 22
      ansible_password: ansible_password
      ansible_become_password: ansible_become_password
      ansible_user: ansible_user

box:
  vars:
    ansible_password: ansible_password
    ansible_become_password: ansible_become_password
    ansible_user: remote_user
    ansible_host: 10.10.10.10
    ansible_port: 22

  6. Для настройки приложений после установки переименуйте файл конфигурации:

    mv edr.box_vars.yaml box_vars.yaml

  7. Перейдите к файлу конфигурации: /opt/storage/box_infra/box_vars.yaml.

  8. Отредактируйте параметры:

    • envoy_jwks_server — адрес Сервера управления BI.ZONE EDR;

      Примечание: при all-in-one инсталляции доменное имя сервера /etc/hostnamе не должно совпадать с переменной envoy_jwks_server;

    • envoy_jwks_server_ip — IP-адрес Сервера управления BI.ZONE EDR;

      Примечание: запись будет добавлена в /etc/hosts;

    • envoy_jwks_server_port — порт веб-интерфейса Сервера управления BI.ZONE EDR;

    • optional_service_minio_install — флаг установки MinIO. Допускается использование внешнего MinIO, в этом случае значение параметра — false.

    Пример заполнения:

    envoy_jwks_server: edr.server
envoy_jwks_server_ip: 10.1.1.1
envoy_jwks_server_port: 9993

optional_service_minio_install: true

  9. При необходимости отредактируйте дополнительные параметры:

    • kafka_retention_topics_time — время хранения данных в топиках kafka в часах;

    • kafka_retention_topics_size — время хранения данных в топиках kafka в гигабайтах;

    • domain_storage — доменное имя сервера Хранилища телеметрии;

    • ai_assistant_enabled — параметр включения AI-ассистента;

    • ai_assistant_cafile — путь до CA-сертификата;

    • ai_assistant_certfile — путь до сертификата;

    • ai_assistant_keyfile — путь до ключа сертификата;

    • ai_assistant_proxy_address — адрес прокси-сервера при предоставлении доступа до ресурса update.bi.zone через прокси-сервер;

    • ai_assistant_proxy_port — порт прокси-сервера;

    • disk_ssd — точка монтирования SSD-диска;

    • disk_hdd — точка монтирования HDD-диска.

    Пример заполнения:

    kafka_retention_topics_time: 24
kafka_retention_topics_size: 10 

ai_assistant_enabled: "true"
2.	ai_assistant_cafile: "{{ playbook_dir }}/files/ai_assistant/fullchain.crt"  
3.	ai_assistant_certfile: "{{ playbook_dir }}/files/ai_assistant/fullchain.crt"
4.	ai_assistant_keyfile: "{{ playbook_dir }}/files/ai_assistant/cert.key"
5.	ai_assistant_proxy_address: "" # при использовании укажите ip адрес (не доменное имя), иначе ""
ai_assistant_proxy_port: 3128

disk_ssd: /opt/ssd 
disk_hdd: /opt/hdd

  10. Запустите скрипт установки и запуска Nexus:

    cd /opt/storage/box_infra
bash ./001-controller-%OS%.sh

    Примечание: %OS% — параметр используемой операционной системы.

Установка

  1. Запустите установку Хранилища телеметрии и связанных компонентов:

    cd /opt/storage/box_infra
bash ./002-install-ultra-onenode-%OS%.sh

    Примечание: %OS% — параметр используемой операционной системы.

  2. Следите за отсутствием красных строк при установке. При их возникновении или неудачном запуске — обратитесь к сотрудникам BI.ZONE EDR для решения проблемы.

    При успешном выполнении скрипта в docker будут развернуты компоненты:

    1. Apache Kafka;

    2. PostgreSQL;

    3. MinIO (S3);

    4. Envoy;

    5. ClickHouse.

  3. Для проверки установки и работоспособности компонентов выполните команды:

    systemctl status kafka-broker
systemctl status postgres
systemctl status minio
systemctl status envoy
systemctl status clickhouse-server
 
docker service ls

  4. После проверки рекомендуется выполнить остановку Nexus:

    systemctl stop nexus
systemctl disable nexus

    Примечание: Nexus необходим только для установки/обновления Хранилища телеметрии.

Путь ко всем автоматически созданным сертификатам для подключения по SSL: /opt/storage/box_infra/files/certs_box/*.

Более подробно развертывание Хранилища телеметрии описано в полном руководстве из комплекта поставки BI.ZONE EDR.