Настройка балансировщика Nginx перед RuDesktop#

Инструкция описывает настройку отдельного Nginx перед одним сервером RuDesktop с передачей настоящего IP-адреса клиента в веб-часть и управляющий канал /v1/

В этой схеме клиенты подключаются к балансировщику, а он пересылает HTTPS- и WebSocket-запросы на сервер

Клиент -> Nginx (192.0.2.20:443) -> RuDesktop (192.0.2.10:443)

Если сервер видит адрес балансировщика вместо адреса устройства, проверка IP в магазине приложений может завершиться ошибкой 403

Подготовка#

В примерах используются условные IP-адреса из диапазонов, зарезервированных для документации. Перед выполнением команд замените их адресами вашей инфраструктуры:

Узел

Адрес

Сервер RuDesktop

192.0.2.10

Балансировщик Nginx

192.0.2.20

Клиент для проверки

198.51.100.30

Команды выполняются с правами root на указанной в разделе машине. Пример установки Nginx рассчитан на Debian/Ubuntu с каталогами sites-available и sites-enabled

Перед настройкой сохраните копии изменяемых конфигурационных файлов. Балансировщик должен иметь доступ к порту 443/TCP сервера, а клиент - к порту 443/TCP балансировщика

Примечание

Пример рассчитан на IPv4 и одну внешнюю точку входа без дополнительных прокси перед ней. В текущей проверке IP магазина приложений IPv6 не поддерживается

Настройка нескольких серверов с общими данными описана отдельно: Развертывание отказоустойчивого кластера

Настройка сервера RuDesktop#

Сертификат для балансировщика#

Балансировщику нужен сертификат для адреса, по которому к нему обращаются клиенты. Ниже приведен выпуск сертификата встроенным центром сертификации RuDesktop

На сервере RuDesktop подготовьте каталог и ключ:

cd /var/lib/rudesktop/ca
umask 077
mkdir -p front
chmod 700 front
openssl genrsa -out front/front.key 2048

Создайте файл /var/lib/rudesktop/ca/front/front.cnf:

[req]
distinguished_name = dn
req_extensions = v3
prompt = no

[dn]
C = RU
O = RuDesktop
CN = 192.0.2.20

[v3]
subjectAltName = IP:192.0.2.20
keyUsage = digitalSignature, keyEncipherment
extendedKeyUsage = serverAuth

Если клиенты обращаются по имени, например rudesktop.example.org, укажите CN = rudesktop.example.org и subjectAltName = DNS:rudesktop.example.org

Выпустите и проверьте сертификат:

openssl req -new -key front/front.key -out front/front.csr -config front/front.cnf
openssl x509 -req -in front/front.csr -CA CA.pem -CAkey CA.key -CAcreateserial \
  -out front/front.crt -days 3650 -extensions v3 -extfile front/front.cnf
openssl verify -CAfile CA.pem front/front.crt

При успешной проверке последняя команда выведет front/front.crt: OK. Срок действия сертификата в примере - 3650 дней; задайте срок по правилам вашей организации

Важно

На балансировщик передаются только front.crt, front.key и публичный CA.pem. Закрытый ключ центра сертификации CA.key должен оставаться на сервере

Браузер на клиентском устройстве должен доверять этому CA. Выпуск сертификата не добавляет CA в доверенные автоматически. Другой вариант - Добавление собственных SSL-сертификатов

Передача IP-адреса клиента#

На сервере RuDesktop создайте файл /etc/nginx/conf.d/00-realip-rudesktop.conf:

set_real_ip_from 192.0.2.20;
real_ip_header X-Forwarded-For;
real_ip_recursive on;

Nginx будет принимать переданный IP только от указанного балансировщика и использовать его как адрес клиента

Предупреждение

В set_real_ip_from указывайте только адрес доверенного балансировщика. Не используйте 0.0.0.0/0: это позволит постороннему отправителю подменить IP, используемый проверками доступа

Для этих директив нужен модуль http_realip. Если nginx -t сообщает unknown directive, проверьте наличие --with-http_realip_module в выводе nginx -V и состав установленного пакета Nginx

Адрес и порт в управляющем канале#

Компонент RuDesktop, обслуживающий /v1/, ожидает X-Real-Ip в формате IP:порт. При восстановлении IP из заголовка без номера порта значение $remote_port может оказаться пустым; адрес с пустым портом приводит к ответу 400

На сервере RuDesktop создайте файл /etc/nginx/conf.d/01-rport-fallback.conf:

map $remote_port $rport {
    default $remote_port;
    ""      0;
}

В файле /etc/nginx/sites-available/rudesktop, внутри location /v1/, замените строку:

proxy_set_header X-Real-Ip $remote_addr:$remote_port;

на:

proxy_set_header X-Real-Ip $remote_addr:$rport;

Порт 0 здесь служит подстановкой для неизвестного порта клиента. Это не порт, к которому нужно подключаться

Для запросов к веб-части сохраните штатную настройку /etc/nginx/proxy_params:

proxy_set_header X-Forwarded-For $remote_addr;

После обработки Real IP эта строка передает веб-части восстановленный адрес клиента. Магазин сравнивает его с IP, записанным при подключении устройства через /v1/

Предупреждение

Команда rude reinstall удаляет конфигурацию RuDesktop, его Nginx-vhost и файлы CA сервера, затем запускает установку заново. После нее нужно повторно проверить публичный адрес, сертификаты и доверие клиентов, а также восстановить правку X-Real-Ip

Файлы из /etc/nginx/conf.d/ эта команда непосредственно не удаляет, но наличие этих файлов не восстанавливает остальные настройки

Публичный адрес сервера#

В /etc/rudesktop/settings измените существующие значения, сохранив остальные настройки и необходимые адреса в ALLOWED_HOSTS:

PUBLIC_HOST = '192.0.2.20'
ALLOWED_HOSTS = ['localhost', '192.0.2.10', '192.0.2.20']

В /etc/default/rudesktop измените PUBLIC_HOST:

PUBLIC_HOST='192.0.2.20'

При подключении по DNS-имени используйте его вместо адреса балансировщика. В PUBLIC_HOST не указывайте https://; пример использует стандартный публичный порт 443

Сервер формирует CSRF_TRUSTED_ORIGINS из PUBLIC_HOST и PUBLIC_PORT. Для этого примера доверенным адресом будет https://192.0.2.20

В обоих блоках server файла /etc/nginx/sites-available/rudesktop добавьте адрес балансировщика в существующий server_name, сохранив нужные имена сервера. Например:

server_name 192.0.2.10 192.0.2.20;

Примените изменения на сервере:

systemctl restart rudesktop-web
nginx -t && systemctl reload nginx

Перезагрузка Nginx выполняется только при успешной проверке конфигурации

Настройка балансировщика#

Установка Nginx и сертификата#

На машине балансировщика установите Nginx:

apt-get update && apt-get install -y nginx

Передайте по защищенному каналу front.crt, front.key и CA.pem с сервера в каталог, доступный только root на балансировщике. Перейдите в этот каталог и выполните:

install -d -m 700 /etc/ssl/rudesktop
cat front.crt CA.pem > /etc/ssl/rudesktop/front-fullchain.crt
install -m 600 front.key /etc/ssl/rudesktop/front.key
install -m 644 CA.pem /etc/ssl/rudesktop/CA.pem
chmod 644 /etc/ssl/rudesktop/front-fullchain.crt

В файле цепочки первым идет сертификат балансировщика, затем сертификат CA

Параметры WebSocket#

Создайте на балансировщике файл /etc/nginx/conf.d/upgrade-map.conf:

map $http_upgrade $connection_upgrade {
    default upgrade;
    ''      close;
}

Блок map должен подключаться внутри http {}. Если переменная $connection_upgrade уже объявлена в конфигурации балансировщика, используйте существующее объявление

Конфигурация сайта#

Создайте файл /etc/nginx/sites-available/rudesktop-front:

upstream rudesktop_backend {
    server 192.0.2.10:443;
    keepalive 32;
}

server {
    listen 80;
    server_name 192.0.2.20;
    location /tftp/ { return 404; }
    location / { return 301 https://$host$request_uri; }
}

server {
    listen 443 ssl;
    server_name 192.0.2.20;

    ssl_certificate /etc/ssl/rudesktop/front-fullchain.crt;
    ssl_certificate_key /etc/ssl/rudesktop/front.key;
    client_max_body_size 1000G;

    location /v1/ {
        proxy_pass https://rudesktop_backend;
        proxy_ssl_verify off;
        proxy_http_version 1.1;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $remote_addr;
        proxy_set_header X-Forwarded-Proto https;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $connection_upgrade;
        proxy_connect_timeout 120s;
        proxy_send_timeout 600s;
        proxy_read_timeout 600s;
    }

    location /ws/ {
        proxy_pass https://rudesktop_backend;
        proxy_ssl_verify off;
        proxy_http_version 1.1;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $remote_addr;
        proxy_set_header X-Forwarded-Proto https;
        proxy_set_header X-Forwarded-Host $host;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $connection_upgrade;
        proxy_read_timeout 600s;
    }

    location / {
        proxy_pass https://rudesktop_backend;
        proxy_ssl_verify off;
        proxy_http_version 1.1;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $remote_addr;
        proxy_set_header X-Forwarded-Proto https;
        proxy_set_header X-Forwarded-Host $host;
        add_header Cache-Control 'no-cache';
    }
}

В этом примере балансировщик формирует X-Forwarded-For из адреса соединения с клиентом. Заголовок, присланный самим клиентом, не используется как источник его IP

Важно

  • Используйте показанную конфигурацию клиентского порта с HTTP/1.1 и WebSocket Upgrade, без включения HTTP/2

  • Заголовки повторены в каждом location: при наличии собственных proxy_set_header этот блок не наследует набор заголовков с уровня server

  • В примере proxy_ssl_verify off отключает проверку сертификата внутреннего сервера. Соединение шифруется, но подлинность сервера не проверяется; такой вариант требует доверенного внутреннего сетевого сегмента

  • Для проверки сертификата внутреннего сервера настройте proxy_ssl_verify on, proxy_ssl_trusted_certificate и proxy_ssl_name, соответствующий сертификату сервера

  • HTTP-путь /tftp/ через балансировщик закрыт; PXE-устройства в этой схеме должны обращаться к узлу публикации напрямую. Для PXE через балансировщик нужна отдельная настройка

Включите сайт, если ссылка еще не создана:

ln -s /etc/nginx/sites-available/rudesktop-front /etc/nginx/sites-enabled/rudesktop-front

На отдельной новой машине со штатным сайтом Nginx отключите его, удалив только символическую ссылку /etc/nginx/sites-enabled/default. Если Nginx уже обслуживает другие сайты, сохраните их и проверьте, что они не конфликтуют с новым server_name

Проверьте и примените конфигурацию балансировщика:

nginx -t && systemctl reload nginx

Укажите адрес балансировщика 192.0.2.20:443 в настройках подключения клиентов RuDesktop и переподключите их

Проверка подключения#

Проверка IP на сервере#

Временно добавьте на сервере RuDesktop в HTTPS-блок server файла /etc/nginx/sites-available/rudesktop:

location = /_debug_ip {
    default_type text/plain;
    return 200 "remote_addr=$remote_addr xff=$http_x_forwarded_for\n";
}

Примените конфигурацию сервера:

nginx -t && systemctl reload nginx

С клиентской машины выполните запрос через балансировщик, указав путь к публичному CA, полученному от администратора:

curl --cacert /path/to/CA.pem https://192.0.2.20/_debug_ip

При прямом маршруте без NAT в ответе должны быть адреса клиента, например remote_addr=198.51.100.30 xff=198.51.100.30. При NAT будет виден адрес, с которого клиент пришел на балансировщик

После проверки удалите весь временный блок location = /_debug_ip и снова выполните nginx -t && systemctl reload nginx на сервере

Проверка адреса устройства#

После переподключения клиента проверьте поле Сетевой адрес в его карточке. Также можно выполнить на сервере запрос только для чтения:

echo "SELECT server_id, hostname, addr FROM peers_server ORDER BY updated DESC LIMIT 10;" | rude sql

В addr должен быть IP клиента, видимый балансировщику, а не адрес 192.0.2.20. Суффикс :0 допустим после настройки подстановки порта

Если сохраняется ошибка 400 при подключении клиента, проверьте правку X-Real-Ip в location /v1/ сервера и передачу заголовков WebSocket на балансировщике

Если магазин приложений возвращает 403#

После опознания устройства сервер проверяет право его группы, совпадение IP и авторизацию пользователя. Ошибка 403 сама по себе не определяет, какая из этих проверок не пройдена

Для диагностики откройте на сервере:

rude shell

И выполните, заменив <id> и <uuid> значениями из адреса магазина /portal/app_store/?id=...&uuid=...:

from automation.utils import get_server_permissions
from peers.models import Server
from django.contrib.auth.models import Group

device = Server.objects.get(server_id="<id>", uuid="<uuid>")
print("addr:", device.addr)
print("app_store:", "account.can_use_app_store" in get_server_permissions(device.server_id))
print("groups:", list(Group.objects.filter(server__server_id=device.server_id).values_list("name", flat=True)))
  1. Если app_store равно False, выдайте право Может использовать магазин приложений группе, в которой состоит устройство. Авторизация под администратором не заменяет это право

  2. Сравните IP в addr с адресом из проверки /_debug_ip. При несовпадении проверьте маршрут браузера и клиента, настройки Real IP и переподключите клиент

  3. Если право есть и IP совпадает, авторизуйтесь в портале. Если по правилам организации нужен вход без авторизации, включите в Настройки настройку Неавторизованный пользователь может видеть магазин приложений (IP адрес должен совпадать)

Настройка VIEW_APP_STORE_WITHOUT_AUTH отменяет только требование авторизации пользователя; право группы устройства и совпадение IP продолжают проверяться

Подробная настройка прав и публикации приложений: Публикация приложения в магазине приложений

Связанные страницы#