Changes for page Отказоустойчивый кластер Платформы НЕЙРОСС

Last modified by superadmin on 2026/06/24 21:40

Manage
- Copy
Actions
- Export
- Print Preview
Viewers
- Source
- Children
- Content
- Comments
- Attachments (1)
- History
- Information
- Likes

From 6.1 to 6.2

From version 1.1

edited by pugachevskaya_elena
on 2025/10/02 15:46

Change comment: There is no comment for this version

To version 6.1

edited by admin
on 2026/06/07 18:49

Change comment: Remove Confluence content-wrapper markers

Raw
Rendered

Summary

Page properties (2 modified, 0 added, 0 removed)

Details

Page properties

Author

@@ -1,1 +1,1 @@
--XWiki.pugachevskaya_elena
++XWiki.admin

Content

@@ -1,7 +1,4 @@
--{{layout}}
--{{layout-section ac:type="two_right_sidebar"}}
--{{layout-cell}}
--(% style="font-size: 14.0px;letter-spacing: 0.0px;" %)В данном разделе приведена пошаговая инструкция по развёртыванию кластера «с нуля», обеспечивающего базовую функциональность горячего резервирования сервера Платформы НЕЙРОСС с нативным типом установки (в среде ОС).
++В данном разделе приведена пошаговая инструкция по развёртыванию кластера «с нуля», обеспечивающего базовую функциональность горячего резервирования сервера Платформы НЕЙРОСС с нативным типом установки (в среде ОС).
  {{info}}
  Ниже рассмотрен пример построения кластера при работе нативной версии в среде ОС Ubuntu Server 20.04.3 LTS. При необходимости разворачивания кластера в среде ОС Astra Linux рекомендуем обратиться к специалистам компании ИТРИУМ, мы вышлем подготовленный файл.
@@ -10,20 +10,14 @@
  {{error}}
  При необходимости горячего резервирования контейнеризированной версии Платформы НЕЙРОСС рекомендуем обратиться к специалистам компании ИТРИУМ.
  {{/error}}
--{{/layout-cell}}
--{{layout-cell}}
  [[image:attach:ui.Параметры узла.WebHome@content.png||thumbnail="true" height="10"]] Содержание:
  {{toc depth="2"/}}
--{{/layout-cell}}
--{{/layout-section}}
--{{layout-section ac:type="single"}}
--{{layout-cell}}
--== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Общиесведения"/}}(% style="font-size: 20.0px;letter-spacing: -0.008em;" %)Общие сведения(%%) ==
++== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Общиесведения"/}}Общие сведения(%%) ==
--Отказоустойчивый кластер обеспечивает высокий уровень готовности резервного сервера для максимальной доступности сервисов системы. (% style="letter-spacing: 0.0px;" %)Самый простой кластер состоит из 2-х узлов (компьютеров, серверов), образующих его, настроенных на мониторинг друг друга и управление соответствующими ресурсами кластера.
++Отказоустойчивый кластер обеспечивает высокий уровень готовности резервного сервера для максимальной доступности сервисов системы. Самый простой кластер состоит из 2-х узлов (компьютеров, серверов), образующих его, настроенных на мониторинг друг друга и управление соответствующими ресурсами кластера.
  [[image:attach:Platform_Cluster_Scheme.png||width="400"]]
@@ -31,9 +31,9 @@
  Для настройки кластера и его ресурсов можно применять любую из двух утилит //pcs// или //crm//. При этом настройку можно осуществлять и той и другой в любом удобном порядке, поэтому некоторые действия описаны с использование одной утилиты, а некоторые – другой.
--== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Действиянакаждомсервере(NODE1иNODE2)"/}}(% style="letter-spacing: 0.0px;" %)Действия на каждом сервере (NODE 1 и NODE2)(%%) ==
++== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Действиянакаждомсервере(NODE1иNODE2)"/}}Действия на каждом сервере (NODE 1 и NODE2)(%%) ==
--(% style="letter-spacing: 0.0px;" %)Актуализируйте и обновите версии пакетов:
++Актуализируйте и обновите версии пакетов:
  {{code language="bash"}}
  sudo apt update
@@ -82,7 +82,7 @@
  Вывод команды приведён в коде ниже:
--{{code}}
++{{code language="java"}}
  hacluster:x:113:117::/var/lib/pacemaker:/usr/sbin/nologin
  {{/code}}
@@ -110,13 +110,13 @@
  Найдите строку:
--{{code}}
++{{code language="java"}}
  receiver_parent_pids=`ps -ef | tr -s " " | grep "[w]al receiver process" | cut -d " " -f 3`
  {{/code}}
  И замените её на:
--{{code}}
++{{code language="java"}}
  receiver_parent_pids=`ps -ef | tr -s " " | grep "[w]al\s*receiver" | cut -d " " -f 3`
  {{/code}}
@@ -159,7 +159,7 @@
  При необходимости проверить конфигурацию (на всех серверах должен быть файл с одинаковым содержимым) выполните:
--{{code}}
++{{code language="java"}}
  cat /etc/corosync/corosync.conf
          totem {
              version: 2
@@ -227,7 +227,7 @@
  В случае //stonith-enabled=true// вы увидите:
--{{code}}
++{{code language="java"}}
          Cluster name: HACLUSTER
          WARNINGS:
@@ -317,7 +317,7 @@
  Добавьте в него необходимые разрешения следующим образом:
--{{code}}
++{{code language="java"}}
  # TYPE  DATABASE        USER            ADDRESS                 METHOD
  # "local" is for Unix domain socket connections only
  local   all             all                                     trust
@@ -345,7 +345,7 @@
  Добавьте (или расскомментируйте) следующие строки:
--{{code}}
++{{code language="java"}}
          listen_addresses = '*'
          wal_level = replica
          logging_collector = on
@@ -420,7 +420,7 @@
  В некоторых описаниях настройки упоминается ещё параметр config="/etc/postgresql/12/main/postgresql.conf".
  {{info}}
--Если не выполнено исправление //resource-agents// (описано выше), то настройка параметра //check_wal_receiver="true"//, приведёт на узле NODE2 к появлению ошибки в //HA-pgsql-receiver-status// (вывод команды //sudo crm_mon -Afr//) и ежеминутных предупреждений в логах //(journalctl -f) "WARNING: wal receiver process is not running//". (% style="color: rgb(51,51,51);" %)Настройка параметра(%%)// check_wal_receiver="false"//(% style="color: rgb(51,51,51);" %) отключает проверку и мониторинг 'WAL receiver process'.
++Если не выполнено исправление //resource-agents// (описано выше), то настройка параметра //check_wal_receiver="true"//, приведёт на узле NODE2 к появлению ошибки в //HA-pgsql-receiver-status// (вывод команды //sudo crm_mon -Afr//) и ежеминутных предупреждений в логах //(journalctl -f) "WARNING: wal receiver process is not running//". Настройка параметра(%%)// check_wal_receiver="false"// отключает проверку и мониторинг 'WAL receiver process'.
  {{/info}}
@@ -490,8 +490,8 @@
  --group master-group
  {{/code}}
--(% style="color: rgb(51,51,51);" %)в параметрах (%%)//binfile//(% style="color: rgb(51,51,51);" %), (%%)//cmdline_options//(% style="color: rgb(51,51,51);" %) и (%%)//user//(% style="color: rgb(51,51,51);" %) укажите соответственно исполняемый файл с полным путём от корня, параметры запуска исполняемого файла, имя пользователя системы (от имени которого будет выполняться файл), всё указывается в кавычках(%%)
--(% style="color: rgb(51,51,51);" %)параметры (%%)//cmdline_options//(% style="color: rgb(51,51,51);" %) и (%%)//user//(% style="color: rgb(51,51,51);" %) не являются обязательными
++в параметрах (%%)//binfile//, (%%)//cmdline_options// и (%%)//user// укажите соответственно исполняемый файл с полным путём от корня, параметры запуска исполняемого файла, имя пользователя системы (от имени которого будет выполняться файл), всё указывается в кавычках(%%)
++параметры (%%)//cmdline_options// и (%%)//user// не являются обязательными
  == {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Созданиересурсафенсинга"/}}Создание ресурса фенсинга ==
@@ -498,7 +498,7 @@
  Для защиты разделяемых ресурсов и изоляции узла кластера при его неисправности существует механизм фенсинга (изоляции).
  Чтобы вывести список доступных агентов изоляции //fence-agents// используйте команду:
--{{code}}
++{{code language="java"}}
  sudo pcs stonith list
  {{/code}}
@@ -505,7 +505,7 @@
  Для тестовых целей можно использовать следующую конфигурацию с агентом //external/ssh//:
--{{code}}
++{{code language="java"}}
  sudo crm
   configure
    primitive st-ssh stonith:external/ssh params hostlist="node1 node2"
@@ -527,7 +527,7 @@
  выглядит следующим образом:
--{{code}}
++{{code language="java"}}
          Cluster Summary:
            * Stack: corosync
            * Current DC: node1 (version 2.0.3-4b1f869f0f) - partition with quorum
@@ -591,7 +591,7 @@
  {{code/}}
--(% style="letter-spacing: 0.0px;" %)Браузеру «не понравится» самоподписанный сертификат, но с этим надо согласиться или подложить на узлы доверенные сертификаты. Веб-интерфейс также доступен и по общему виртуальному адресу и тому же порту 2224.
++Браузеру «не понравится» самоподписанный сертификат, но с этим надо согласиться или подложить на узлы доверенные сертификаты. Веб-интерфейс также доступен и по общему виртуальному адресу и тому же порту 2224.
  Для входа необходимо использовать учётные данные пользователя кластера — //hacluster// и его пароль.
@@ -644,7 +644,7 @@
  При отсутствии ошибок:
--{{code}}
++{{code language="java"}}
  (unpack_config)         notice: On loss of quorum: Ignore
  {{/code}}
@@ -679,38 +679,35 @@
  \\
  |=(((
--(% style="color: rgb(51,51,51);" %)утилита crm_resource
++утилита crm_resource
  )))|=(((
--(% style="color: rgb(51,51,51);" %)утилита crm
++утилита crm
  )))
  |(% colspan="2" %)(((
--(% style="color: rgb(51,51,51);" %)Вывод поддерживаемых стандартов (классов) ресурсов кластера
++Вывод поддерживаемых стандартов (классов) ресурсов кластера
  )))
  |(((
--(% class="content-wrapper" %)
  (((
--{{code}}
++{{code language="java"}}
  sudo crm_resource --list-standards
  {{/code}}
  )))
  )))|(((
--(% class="content-wrapper" %)
  (((
--{{code}}
++{{code language="java"}}
  sudo crm ra classes
  {{/code}}
  )))
  )))
  |(% colspan="2" %)(((
--(% style="color: rgb(51,51,51);" %)Вывод поддерживаемых агентов ресурсов кластера для определенного стандарта
++Вывод поддерживаемых агентов ресурсов кластера для определенного стандарта
  )))
  |(((
--(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступные systemd агенты
--{{code}}
++{{code language="java"}}
  sudo crm_resource --list-agents systemd
  {{/code}}
@@ -717,29 +717,27 @@
  (% style="text-align: left;" %)
  доступные lsb агенты
--{{code}}
++{{code language="java"}}
  sudo crm_resource --list-agents lsb
  {{/code}}
  )))
  )))|(((
--(% class="content-wrapper" %)
  (((
--{{code}}
++{{code language="java"}}
  sudo crm ra list systemd
  {{/code}}
--{{code}}
++{{code language="java"}}
  sudo crm ra list lsb
  {{/code}}
  )))
  )))
  |(((
--(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступные OCF провайдеры
--{{code}}
++{{code language="java"}}
  sudo crm_resource --list-ocf-providers
  {{/code}}
  )))
@@ -747,12 +747,11 @@
  \\
  )))
  |(((
--(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступные OCF агенты из проекта linux-ha провайдер heartbeat
--{{code}}
++{{code language="java"}}
  sudo crm_resource --list-agents ocf:heartbeat
  {{/code}}
  )))
@@ -760,12 +760,11 @@
  \\
  )))
  |(((
--(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступный OCF провайдер для агента pgsql
--{{code}}
++{{code language="java"}}
  sudo crm_resource --list-ocf-alternatives pgsql
  {{/code}}
  )))
@@ -773,12 +773,11 @@
  \\
  )))
  |(((
--(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  метаданные для класс:провайдер:агент
--{{code}}
++{{code language="java"}}
  sudo crm_resource --show-metadata ocf:heartbeat:pgsql
  {{/code}}
  )))
@@ -788,13 +788,13 @@
  Логи работы компонентов кластера
--{{code}}
++{{code language="java"}}
  sudo tail /var/log/pcsd/pcsd.log
  sudo tail /var/log/corosync/corosync.log
  sudo cat /var/log/pacemaker/pacemaker.log
  {{/code}}
--(% style="letter-spacing: 0.0px;" %)запуск с ключом **-f** позволит следить за ними в реальном времени.
++запуск с ключом **-f** позволит следить за ними в реальном времени.
  ----
@@ -810,7 +810,7 @@
  sudo pcs stonith list
  {{/code}}
--(% style="font-size: 14.0px;font-weight: 400;letter-spacing: 0.0px;" %)Для тестовых целей можно использовать следующую конфигурацию с агентом //external/ssh//:
++(% style="font-weight: 400;" %)Для тестовых целей можно использовать следующую конфигурацию с агентом //external/ssh//:
  {{code language="bash"}}
  sudo crm
@@ -822,7 +822,7 @@
   exit
  {{/code}}
--=== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Пример1.Использованиедвухмеханизмовфенсингаузловнапримерефенсингавиртуальныхмашинах"/}}(% style="color: rgb(94,108,132);letter-spacing: 0.0px;" %)Пример 1. Использование двух механизмов фенсинга узлов на примере фенсинга виртуальных машинах(%%) ===
++=== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Пример1.Использованиедвухмеханизмовфенсингаузловнапримерефенсингавиртуальныхмашинах"/}}Пример 1. Использование двух механизмов фенсинга узлов на примере фенсинга виртуальных машинах(%%) ===
  При использовании виртуальных машин в качестве узлов кластера можно использовать агент //external/libvirt//. Далее рассмотрим настройку конфигурации, в которой сервер с гипервизором имеет адрес 10.1.30.249, а узлы, как описано выше. В примере будут использоваться два фенсинг механизма – //ssh// и //libvirt//.
  Чтобы вывести необходимые настройки для выбранного агента выполните команду:
@@ -915,7 +915,7 @@
  означает: для фенсинга узла //node2// сначала использовать ресурс //fence-node2-ssh//, если это не удается, то использовать ресурс //fence-node2-libvirt//.
  {{/info}}
--(% style="letter-spacing: 0.0px;" %)Перезагружаем все виртуальные машины в кластере.
++Перезагружаем все виртуальные машины в кластере.
  \\
@@ -923,7 +923,7 @@
  Реальная конфигурация не сильно отличается от тестовой, хотя для некоторых фенсинг устройств может потребоваться больше атрибутов. Например, устройство отключения IBM RSA (например, с адресами 10.1.31.101 и 10.1.31.102) может быть настроено следующим образом:
--{{code}}
++{{code language="java"}}
  sudo crm
  configure
    primitive st-ibmrsa-1 stonith:external/ibmrsa-telnet \
@@ -1187,7 +1187,6 @@
  \\
--{{expand title="... возможное развитие ..."}}
  Автоматическую синхронизацию можно выполнять посредством утилиты //lsyncd//. Данная программа позволяет средствами //rsync// делать резервное копирование сразу же по появлению нового файла в указанной директории. По-сути, выполняется односторонняя синхронизация в реальном времени с помощью Lsyncd.
  //Lsyncd// просматривает дерево локальных директорий с помощью интерфейса модуля мониторинга //inotify//. Он агрегирует и комбинирует события за несколько секунд и затем запускает процесс (или несколько процессов) синхронизации изменений. По умолчанию для этих целей используется //rsync//. Таким образом, //lsyncd// представляет собой легковесное решение для зеркалирования данных, сравнительно легкое в установке, не требующее специфичных файловых систем или блочных устройств, а также не влияющее на производительность файловой системы.
@@ -1343,7 +1343,7 @@
  nano /etc/lsyncd.exclude
  {{/code}}
--{{code}}
++{{code language="java"}}
  *.tmp
  *.bak
  testfile.txt
@@ -1350,7 +1350,7 @@
  test/
  {{/code}}
--(% style="letter-spacing: 0.0px;" %)в данном примере мы игнорируем файлы, заканчиваются на //.bak// или //.tmp//,а также файл //testfile.txt// и содержимое каталога //test//.
++в данном примере мы игнорируем файлы, заканчиваются на //.bak// или //.tmp//,а также файл //testfile.txt// и содержимое каталога //test//.
  \\
@@ -1371,7 +1371,6 @@
      op monitor depth="0" timeout="20s" interval="60s"
      --group master-group
  {{/code}}
--{{/expand}}
  ----
@@ -1383,7 +1383,7 @@
  * Замена вышедшего из строя оборудования (не приведшего к сбою);
  * Обновление оборудования;
  * Обновление программных средств;
--* (% style="letter-spacing: 0.0px;" %)Смена ролей Мастера и Реплики. Это нужно в случае, когда, серверы Мастера и Реплики отличаются по ресурсам. Например, у нас в составе отказоустойчивого кластера есть мощный сервер, выполняющий роль Мастера СУБД PostgreSQL, и слабый сервер, выполняющий роль Реплики. После сбоя более мощного сервера Мастера его функции переходят к более слабой Реплике. Логично, что после устранения причин сбоя на бывшем Мастере администратор вернёт роль Мастера обратно на мощный сервер.
++* Смена ролей Мастера и Реплики. Это нужно в случае, когда, серверы Мастера и Реплики отличаются по ресурсам. Например, у нас в составе отказоустойчивого кластера есть мощный сервер, выполняющий роль Мастера СУБД PostgreSQL, и слабый сервер, выполняющий роль Реплики. После сбоя более мощного сервера Мастера его функции переходят к более слабой Реплике. Логично, что после устранения причин сбоя на бывшем Мастере администратор вернёт роль Мастера обратно на мощный сервер.
  {{info title="Важно!"}}
  Прежде чем производить смену ролей или вывод Мастера из эксплуатации, необходимо с помощью команды //crm_mon -Afr// убедиться, что в кластере присутствует синхронная реплика. И роль Мастера назначается всегда синхронной реплике.
@@ -1393,7 +1393,7 @@
  * Перевод узла //node1// в //standby//
--{{code}}
++{{code language="java"}}
  sudo pcs node standby node1
  {{/code}}
@@ -1404,7 +1404,7 @@
  * Запуск узла NODE1 , в //crm_mon -Afr// состояние узла STANDBY
  * Очистка директории СУБД и файла блокировки
--{{code}}
++{{code language="java"}}
  sudo rm /var/lib/pgsql/tmp/PGSQL.lock
  sudo su - postgres
  rm -rf /var/lib/postgresql/12/main/*
@@ -1414,7 +1414,7 @@
  * Передача текущей копии БД с действующего узла в роли //Master//
--{{code}}
++{{code language="java"}}
  pg_basebackup -U postgres -D /var/lib/postgresql/12/main -h 10.1.30.252 -X stream -P
  exit
  {{/code}}
@@ -1423,7 +1423,7 @@
  * Сброс ошибок ресурсов
--{{code}}
++{{code language="java"}}
  sudo pcs resource cleanup
  {{/code}}
@@ -1431,7 +1431,7 @@
  * Выход узла NODE1 из standby, в //crm_mon -Afr// состояние узла //Slave//, изменение состояния реплики (параметр HA-pgsql-data-status в значении STREAMING|SYNC)
--{{code}}
++{{code language="java"}}
  sudo pcs node unstandby node1
  {{/code}}
@@ -1439,7 +1439,7 @@
  * Перевод узла NODE2 в //standby//
--{{code}}
++{{code language="java"}}
  sudo pcs node standby node2
  {{/code}}
@@ -1449,12 +1449,9 @@
  * Выход узла //node2// из //standby//, в //crm_mon -Afr// состояние узла //Slave//, изменение состояния реплики (параметр HA-pgsql-data-status в значении STREAMING|SYNC)
--{{code}}
++{{code language="java"}}
  sudo pcs node unstandby node2
  {{/code}}
  \\
--{{/layout-cell}}
--{{/layout-section}}
--{{/layout}}