Changes for page Отказоустойчивый кластер Платформы НЕЙРОСС

Last modified by superadmin on 2026/06/24 21:40

Manage
- Copy
Actions
- Export
- Print Preview
Viewers
- Source
- Children
- Content
- Comments
- Attachments (1)
- History
- Information
- Likes

From 6.2 to 6.1

From version 6.1

edited by admin
on 2026/06/07 18:49

Change comment: Remove Confluence content-wrapper markers

To version 1.1

edited by pugachevskaya_elena
on 2025/10/02 15:46

Change comment: There is no comment for this version

Raw
Rendered

Summary

Page properties (2 modified, 0 added, 0 removed)

Details

Page properties

Author

@@ -1,1 +1,1 @@
--XWiki.admin
++XWiki.pugachevskaya_elena

Content

@@ -1,4 +1,7 @@
--В данном разделе приведена пошаговая инструкция по развёртыванию кластера «с нуля», обеспечивающего базовую функциональность горячего резервирования сервера Платформы НЕЙРОСС с нативным типом установки (в среде ОС).
++{{layout}}
++{{layout-section ac:type="two_right_sidebar"}}
++{{layout-cell}}
++(% style="font-size: 14.0px;letter-spacing: 0.0px;" %)В данном разделе приведена пошаговая инструкция по развёртыванию кластера «с нуля», обеспечивающего базовую функциональность горячего резервирования сервера Платформы НЕЙРОСС с нативным типом установки (в среде ОС).
  {{info}}
  Ниже рассмотрен пример построения кластера при работе нативной версии в среде ОС Ubuntu Server 20.04.3 LTS. При необходимости разворачивания кластера в среде ОС Astra Linux рекомендуем обратиться к специалистам компании ИТРИУМ, мы вышлем подготовленный файл.
@@ -7,14 +7,20 @@
  {{error}}
  При необходимости горячего резервирования контейнеризированной версии Платформы НЕЙРОСС рекомендуем обратиться к специалистам компании ИТРИУМ.
  {{/error}}
++{{/layout-cell}}
++{{layout-cell}}
  [[image:attach:ui.Параметры узла.WebHome@content.png||thumbnail="true" height="10"]] Содержание:
  {{toc depth="2"/}}
++{{/layout-cell}}
++{{/layout-section}}
--== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Общиесведения"/}}Общие сведения(%%) ==
++{{layout-section ac:type="single"}}
++{{layout-cell}}
++== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Общиесведения"/}}(% style="font-size: 20.0px;letter-spacing: -0.008em;" %)Общие сведения(%%) ==
--Отказоустойчивый кластер обеспечивает высокий уровень готовности резервного сервера для максимальной доступности сервисов системы. Самый простой кластер состоит из 2-х узлов (компьютеров, серверов), образующих его, настроенных на мониторинг друг друга и управление соответствующими ресурсами кластера.
++Отказоустойчивый кластер обеспечивает высокий уровень готовности резервного сервера для максимальной доступности сервисов системы. (% style="letter-spacing: 0.0px;" %)Самый простой кластер состоит из 2-х узлов (компьютеров, серверов), образующих его, настроенных на мониторинг друг друга и управление соответствующими ресурсами кластера.
  [[image:attach:Platform_Cluster_Scheme.png||width="400"]]
@@ -22,9 +22,9 @@
  Для настройки кластера и его ресурсов можно применять любую из двух утилит //pcs// или //crm//. При этом настройку можно осуществлять и той и другой в любом удобном порядке, поэтому некоторые действия описаны с использование одной утилиты, а некоторые – другой.
--== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Действиянакаждомсервере(NODE1иNODE2)"/}}Действия на каждом сервере (NODE 1 и NODE2)(%%) ==
++== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Действиянакаждомсервере(NODE1иNODE2)"/}}(% style="letter-spacing: 0.0px;" %)Действия на каждом сервере (NODE 1 и NODE2)(%%) ==
--Актуализируйте и обновите версии пакетов:
++(% style="letter-spacing: 0.0px;" %)Актуализируйте и обновите версии пакетов:
  {{code language="bash"}}
  sudo apt update
@@ -73,7 +73,7 @@
  Вывод команды приведён в коде ниже:
--{{code language="java"}}
++{{code}}
  hacluster:x:113:117::/var/lib/pacemaker:/usr/sbin/nologin
  {{/code}}
@@ -101,13 +101,13 @@
  Найдите строку:
--{{code language="java"}}
++{{code}}
  receiver_parent_pids=`ps -ef | tr -s " " | grep "[w]al receiver process" | cut -d " " -f 3`
  {{/code}}
  И замените её на:
--{{code language="java"}}
++{{code}}
  receiver_parent_pids=`ps -ef | tr -s " " | grep "[w]al\s*receiver" | cut -d " " -f 3`
  {{/code}}
@@ -150,7 +150,7 @@
  При необходимости проверить конфигурацию (на всех серверах должен быть файл с одинаковым содержимым) выполните:
--{{code language="java"}}
++{{code}}
  cat /etc/corosync/corosync.conf
          totem {
              version: 2
@@ -218,7 +218,7 @@
  В случае //stonith-enabled=true// вы увидите:
--{{code language="java"}}
++{{code}}
          Cluster name: HACLUSTER
          WARNINGS:
@@ -308,7 +308,7 @@
  Добавьте в него необходимые разрешения следующим образом:
--{{code language="java"}}
++{{code}}
  # TYPE  DATABASE        USER            ADDRESS                 METHOD
  # "local" is for Unix domain socket connections only
  local   all             all                                     trust
@@ -336,7 +336,7 @@
  Добавьте (или расскомментируйте) следующие строки:
--{{code language="java"}}
++{{code}}
          listen_addresses = '*'
          wal_level = replica
          logging_collector = on
@@ -411,7 +411,7 @@
  В некоторых описаниях настройки упоминается ещё параметр config="/etc/postgresql/12/main/postgresql.conf".
  {{info}}
--Если не выполнено исправление //resource-agents// (описано выше), то настройка параметра //check_wal_receiver="true"//, приведёт на узле NODE2 к появлению ошибки в //HA-pgsql-receiver-status// (вывод команды //sudo crm_mon -Afr//) и ежеминутных предупреждений в логах //(journalctl -f) "WARNING: wal receiver process is not running//". Настройка параметра(%%)// check_wal_receiver="false"// отключает проверку и мониторинг 'WAL receiver process'.
++Если не выполнено исправление //resource-agents// (описано выше), то настройка параметра //check_wal_receiver="true"//, приведёт на узле NODE2 к появлению ошибки в //HA-pgsql-receiver-status// (вывод команды //sudo crm_mon -Afr//) и ежеминутных предупреждений в логах //(journalctl -f) "WARNING: wal receiver process is not running//". (% style="color: rgb(51,51,51);" %)Настройка параметра(%%)// check_wal_receiver="false"//(% style="color: rgb(51,51,51);" %) отключает проверку и мониторинг 'WAL receiver process'.
  {{/info}}
@@ -481,8 +481,8 @@
  --group master-group
  {{/code}}
--в параметрах (%%)//binfile//, (%%)//cmdline_options// и (%%)//user// укажите соответственно исполняемый файл с полным путём от корня, параметры запуска исполняемого файла, имя пользователя системы (от имени которого будет выполняться файл), всё указывается в кавычках(%%)
--параметры (%%)//cmdline_options// и (%%)//user// не являются обязательными
++(% style="color: rgb(51,51,51);" %)в параметрах (%%)//binfile//(% style="color: rgb(51,51,51);" %), (%%)//cmdline_options//(% style="color: rgb(51,51,51);" %) и (%%)//user//(% style="color: rgb(51,51,51);" %) укажите соответственно исполняемый файл с полным путём от корня, параметры запуска исполняемого файла, имя пользователя системы (от имени которого будет выполняться файл), всё указывается в кавычках(%%)
++(% style="color: rgb(51,51,51);" %)параметры (%%)//cmdline_options//(% style="color: rgb(51,51,51);" %) и (%%)//user//(% style="color: rgb(51,51,51);" %) не являются обязательными
  == {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Созданиересурсафенсинга"/}}Создание ресурса фенсинга ==
@@ -489,7 +489,7 @@
  Для защиты разделяемых ресурсов и изоляции узла кластера при его неисправности существует механизм фенсинга (изоляции).
  Чтобы вывести список доступных агентов изоляции //fence-agents// используйте команду:
--{{code language="java"}}
++{{code}}
  sudo pcs stonith list
  {{/code}}
@@ -496,7 +496,7 @@
  Для тестовых целей можно использовать следующую конфигурацию с агентом //external/ssh//:
--{{code language="java"}}
++{{code}}
  sudo crm
   configure
    primitive st-ssh stonith:external/ssh params hostlist="node1 node2"
@@ -518,7 +518,7 @@
  выглядит следующим образом:
--{{code language="java"}}
++{{code}}
          Cluster Summary:
            * Stack: corosync
            * Current DC: node1 (version 2.0.3-4b1f869f0f) - partition with quorum
@@ -582,7 +582,7 @@
  {{code/}}
--Браузеру «не понравится» самоподписанный сертификат, но с этим надо согласиться или подложить на узлы доверенные сертификаты. Веб-интерфейс также доступен и по общему виртуальному адресу и тому же порту 2224.
++(% style="letter-spacing: 0.0px;" %)Браузеру «не понравится» самоподписанный сертификат, но с этим надо согласиться или подложить на узлы доверенные сертификаты. Веб-интерфейс также доступен и по общему виртуальному адресу и тому же порту 2224.
  Для входа необходимо использовать учётные данные пользователя кластера — //hacluster// и его пароль.
@@ -635,7 +635,7 @@
  При отсутствии ошибок:
--{{code language="java"}}
++{{code}}
  (unpack_config)         notice: On loss of quorum: Ignore
  {{/code}}
@@ -670,35 +670,38 @@
  \\
  |=(((
--утилита crm_resource
++(% style="color: rgb(51,51,51);" %)утилита crm_resource
  )))|=(((
--утилита crm
++(% style="color: rgb(51,51,51);" %)утилита crm
  )))
  |(% colspan="2" %)(((
--Вывод поддерживаемых стандартов (классов) ресурсов кластера
++(% style="color: rgb(51,51,51);" %)Вывод поддерживаемых стандартов (классов) ресурсов кластера
  )))
  |(((
++(% class="content-wrapper" %)
  (((
--{{code language="java"}}
++{{code}}
  sudo crm_resource --list-standards
  {{/code}}
  )))
  )))|(((
++(% class="content-wrapper" %)
  (((
--{{code language="java"}}
++{{code}}
  sudo crm ra classes
  {{/code}}
  )))
  )))
  |(% colspan="2" %)(((
--Вывод поддерживаемых агентов ресурсов кластера для определенного стандарта
++(% style="color: rgb(51,51,51);" %)Вывод поддерживаемых агентов ресурсов кластера для определенного стандарта
  )))
  |(((
++(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступные systemd агенты
--{{code language="java"}}
++{{code}}
  sudo crm_resource --list-agents systemd
  {{/code}}
@@ -705,27 +705,29 @@
  (% style="text-align: left;" %)
  доступные lsb агенты
--{{code language="java"}}
++{{code}}
  sudo crm_resource --list-agents lsb
  {{/code}}
  )))
  )))|(((
++(% class="content-wrapper" %)
  (((
--{{code language="java"}}
++{{code}}
  sudo crm ra list systemd
  {{/code}}
--{{code language="java"}}
++{{code}}
  sudo crm ra list lsb
  {{/code}}
  )))
  )))
  |(((
++(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступные OCF провайдеры
--{{code language="java"}}
++{{code}}
  sudo crm_resource --list-ocf-providers
  {{/code}}
  )))
@@ -733,11 +733,12 @@
  \\
  )))
  |(((
++(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступные OCF агенты из проекта linux-ha провайдер heartbeat
--{{code language="java"}}
++{{code}}
  sudo crm_resource --list-agents ocf:heartbeat
  {{/code}}
  )))
@@ -745,11 +745,12 @@
  \\
  )))
  |(((
++(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  доступный OCF провайдер для агента pgsql
--{{code language="java"}}
++{{code}}
  sudo crm_resource --list-ocf-alternatives pgsql
  {{/code}}
  )))
@@ -757,11 +757,12 @@
  \\
  )))
  |(((
++(% class="content-wrapper" %)
  (((
  (% style="text-align: left;" %)
  метаданные для класс:провайдер:агент
--{{code language="java"}}
++{{code}}
  sudo crm_resource --show-metadata ocf:heartbeat:pgsql
  {{/code}}
  )))
@@ -771,13 +771,13 @@
  Логи работы компонентов кластера
--{{code language="java"}}
++{{code}}
  sudo tail /var/log/pcsd/pcsd.log
  sudo tail /var/log/corosync/corosync.log
  sudo cat /var/log/pacemaker/pacemaker.log
  {{/code}}
--запуск с ключом **-f** позволит следить за ними в реальном времени.
++(% style="letter-spacing: 0.0px;" %)запуск с ключом **-f** позволит следить за ними в реальном времени.
  ----
@@ -793,7 +793,7 @@
  sudo pcs stonith list
  {{/code}}
--(% style="font-weight: 400;" %)Для тестовых целей можно использовать следующую конфигурацию с агентом //external/ssh//:
++(% style="font-size: 14.0px;font-weight: 400;letter-spacing: 0.0px;" %)Для тестовых целей можно использовать следующую конфигурацию с агентом //external/ssh//:
  {{code language="bash"}}
  sudo crm
@@ -805,7 +805,7 @@
   exit
  {{/code}}
--=== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Пример1.Использованиедвухмеханизмовфенсингаузловнапримерефенсингавиртуальныхмашинах"/}}Пример 1. Использование двух механизмов фенсинга узлов на примере фенсинга виртуальных машинах(%%) ===
++=== {{id name="ОтказоустойчивыйкластерПлатформыНЕЙРОСС-Пример1.Использованиедвухмеханизмовфенсингаузловнапримерефенсингавиртуальныхмашинах"/}}(% style="color: rgb(94,108,132);letter-spacing: 0.0px;" %)Пример 1. Использование двух механизмов фенсинга узлов на примере фенсинга виртуальных машинах(%%) ===
  При использовании виртуальных машин в качестве узлов кластера можно использовать агент //external/libvirt//. Далее рассмотрим настройку конфигурации, в которой сервер с гипервизором имеет адрес 10.1.30.249, а узлы, как описано выше. В примере будут использоваться два фенсинг механизма – //ssh// и //libvirt//.
  Чтобы вывести необходимые настройки для выбранного агента выполните команду:
@@ -898,7 +898,7 @@
  означает: для фенсинга узла //node2// сначала использовать ресурс //fence-node2-ssh//, если это не удается, то использовать ресурс //fence-node2-libvirt//.
  {{/info}}
--Перезагружаем все виртуальные машины в кластере.
++(% style="letter-spacing: 0.0px;" %)Перезагружаем все виртуальные машины в кластере.
  \\
@@ -906,7 +906,7 @@
  Реальная конфигурация не сильно отличается от тестовой, хотя для некоторых фенсинг устройств может потребоваться больше атрибутов. Например, устройство отключения IBM RSA (например, с адресами 10.1.31.101 и 10.1.31.102) может быть настроено следующим образом:
--{{code language="java"}}
++{{code}}
  sudo crm
  configure
    primitive st-ibmrsa-1 stonith:external/ibmrsa-telnet \
@@ -1170,6 +1170,7 @@
  \\
++{{expand title="... возможное развитие ..."}}
  Автоматическую синхронизацию можно выполнять посредством утилиты //lsyncd//. Данная программа позволяет средствами //rsync// делать резервное копирование сразу же по появлению нового файла в указанной директории. По-сути, выполняется односторонняя синхронизация в реальном времени с помощью Lsyncd.
  //Lsyncd// просматривает дерево локальных директорий с помощью интерфейса модуля мониторинга //inotify//. Он агрегирует и комбинирует события за несколько секунд и затем запускает процесс (или несколько процессов) синхронизации изменений. По умолчанию для этих целей используется //rsync//. Таким образом, //lsyncd// представляет собой легковесное решение для зеркалирования данных, сравнительно легкое в установке, не требующее специфичных файловых систем или блочных устройств, а также не влияющее на производительность файловой системы.
@@ -1325,7 +1325,7 @@
  nano /etc/lsyncd.exclude
  {{/code}}
--{{code language="java"}}
++{{code}}
  *.tmp
  *.bak
  testfile.txt
@@ -1332,7 +1332,7 @@
  test/
  {{/code}}
--в данном примере мы игнорируем файлы, заканчиваются на //.bak// или //.tmp//,а также файл //testfile.txt// и содержимое каталога //test//.
++(% style="letter-spacing: 0.0px;" %)в данном примере мы игнорируем файлы, заканчиваются на //.bak// или //.tmp//,а также файл //testfile.txt// и содержимое каталога //test//.
  \\
@@ -1353,6 +1353,7 @@
      op monitor depth="0" timeout="20s" interval="60s"
      --group master-group
  {{/code}}
++{{/expand}}
  ----
@@ -1364,7 +1364,7 @@
  * Замена вышедшего из строя оборудования (не приведшего к сбою);
  * Обновление оборудования;
  * Обновление программных средств;
--* Смена ролей Мастера и Реплики. Это нужно в случае, когда, серверы Мастера и Реплики отличаются по ресурсам. Например, у нас в составе отказоустойчивого кластера есть мощный сервер, выполняющий роль Мастера СУБД PostgreSQL, и слабый сервер, выполняющий роль Реплики. После сбоя более мощного сервера Мастера его функции переходят к более слабой Реплике. Логично, что после устранения причин сбоя на бывшем Мастере администратор вернёт роль Мастера обратно на мощный сервер.
++* (% style="letter-spacing: 0.0px;" %)Смена ролей Мастера и Реплики. Это нужно в случае, когда, серверы Мастера и Реплики отличаются по ресурсам. Например, у нас в составе отказоустойчивого кластера есть мощный сервер, выполняющий роль Мастера СУБД PostgreSQL, и слабый сервер, выполняющий роль Реплики. После сбоя более мощного сервера Мастера его функции переходят к более слабой Реплике. Логично, что после устранения причин сбоя на бывшем Мастере администратор вернёт роль Мастера обратно на мощный сервер.
  {{info title="Важно!"}}
  Прежде чем производить смену ролей или вывод Мастера из эксплуатации, необходимо с помощью команды //crm_mon -Afr// убедиться, что в кластере присутствует синхронная реплика. И роль Мастера назначается всегда синхронной реплике.
@@ -1374,7 +1374,7 @@
  * Перевод узла //node1// в //standby//
--{{code language="java"}}
++{{code}}
  sudo pcs node standby node1
  {{/code}}
@@ -1385,7 +1385,7 @@
  * Запуск узла NODE1 , в //crm_mon -Afr// состояние узла STANDBY
  * Очистка директории СУБД и файла блокировки
--{{code language="java"}}
++{{code}}
  sudo rm /var/lib/pgsql/tmp/PGSQL.lock
  sudo su - postgres
  rm -rf /var/lib/postgresql/12/main/*
@@ -1395,7 +1395,7 @@
  * Передача текущей копии БД с действующего узла в роли //Master//
--{{code language="java"}}
++{{code}}
  pg_basebackup -U postgres -D /var/lib/postgresql/12/main -h 10.1.30.252 -X stream -P
  exit
  {{/code}}
@@ -1404,7 +1404,7 @@
  * Сброс ошибок ресурсов
--{{code language="java"}}
++{{code}}
  sudo pcs resource cleanup
  {{/code}}
@@ -1412,7 +1412,7 @@
  * Выход узла NODE1 из standby, в //crm_mon -Afr// состояние узла //Slave//, изменение состояния реплики (параметр HA-pgsql-data-status в значении STREAMING|SYNC)
--{{code language="java"}}
++{{code}}
  sudo pcs node unstandby node1
  {{/code}}
@@ -1420,7 +1420,7 @@
  * Перевод узла NODE2 в //standby//
--{{code language="java"}}
++{{code}}
  sudo pcs node standby node2
  {{/code}}
@@ -1430,9 +1430,12 @@
  * Выход узла //node2// из //standby//, в //crm_mon -Afr// состояние узла //Slave//, изменение состояния реплики (параметр HA-pgsql-data-status в значении STREAMING|SYNC)
--{{code language="java"}}
++{{code}}
  sudo pcs node unstandby node2
  {{/code}}
  \\
++{{/layout-cell}}
++{{/layout-section}}
++{{/layout}}