Содержание
Keepalived
Состоит из 2 частей:
- LB, основанная на модуле ядра Linux Virtual Server (IPVS), 4 уровень OSI. Keepalived предоставляет набор проверок состояния серверов для динамического и гибкого распределения ресурсов в балансируемом пуле.
- HA, основанная на Virtual Redundancy Routing Protocol (VRRP).
Машина, выполняющая роль LB в терминологии Keepalived называется Director или LVS router. Вкратце, Keepalived выполняет 2 функции - проверку состояния ресурсов и их балансировку, и обеспечение отказоустойчивости самих балансировщиков («директоров»).
Работает как 3 процесса: родительский, отслеживающий состояние дочерних (watchdog), и дочерние - один отвечает за VRRP, другой - за проверку здоровья. Родительский каждые 5 сек шлёт hello-пакет дочерним процессам, и если они не отвечают, перезапускает их.
Файл конфигурации по умолчанию - /etc/keepalived/keepalived.conf
.
Варианты проверок:
- TCP_CHECK - уровень 4, TCP Vanilla check. Если сервер не отвечает - долой из пула.
- HTTP_GET - уровень 5, ходит на URL, проверка MD5, вычисляется утилитой genhash, идущей в составе keepalived. Можно для одного сервера указывать несколько URL.
- SSL_GET - то же, что и HTTP_GET, только использует SSL_соединение.
- MISC_CHECK - использование самописного скрипта, который на выходе должен давать 0 или 1. Запускается на Директоре, с указанием полного пути. Если запускается с аргументами, надо заключать в двойные кавычки.
Failover (VRRP) Framework:
- Failover: создание виртуальных адресов (VIPs), это основное применение протокола VRRP.
- VRRP Instance synchronization: можно настроить мониторинг состояния между 2 узлами VRRP, т. е. VRRP sync group. Это гарантирует, что 2 экземпляра VRRP остаются в одном и том же состоянии. Узлы в группе мониторят друг друга.
- Nice Fallback
- Advert Packet integrity: используется IPSEC-AH ICV.
- System call: при изменении состояния VRRP (VRRP state transition), можно выполнять сторонний скрипт или программу.
Режимы работы LB:
- Виртуальный сервер через NAT. Используется, если на Директоре 2 интерфейса - один внешний, другой внутренний. Юзеры обращаются на внешний порт, и запросы транслируются на серверы в LAN, а ответы в обратном порядке. Преимущество - сервера закрыты от внешних запросов, недостаток - LB превращается в узкое место, т. к. через него ходят и запросы, и ответы. Недостаток - узким местом может стать сервер LB, т. к. весь трафик идёт через него.
- Через туннель - запросы с LB на сервера идут по IP-туннелю, а ответ идёт с серверов напрямую клиентам. Недостаток - более сложная настройка сети.
- Прямая маршрутизация - клиенты обращаются на VIP, а сервера шлют им ответ напрямую. Недостаток этого метода маршрутизации заключается в ограничении ARP. Чтобы настоящие серверы могли напрямую отвечать на запросы публичных пользователей, каждый реальный сервер должен использовать виртуальный IP-адрес в качестве исходного адреса при отправке ответов. В результате комбинация VIP и MAC-адресов распределяется между самим балансировщиком нагрузки, а также каждым из реальных серверов, что может привести к ситуациям, когда реальные серверы получают запросы напрямую, минуя балансировщик нагрузки при входящих запросах. Существуют методы решения этой проблемы за счет дополнительной сложности конфигурации и управляемости.
https://www.keepalived.org/doc/introduction.html
https://www.keepalived.org/manpage.html
Конфиг
Простейший конфиг
vrrp_instance haproxy1 { interface eth0 virtual_router_id 1 # to be MASTER, make priority 50 more than on other machines. priority 100 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.1.40 } }
https://www.redhat.com/sysadmin/advanced-keepalived
https://e-mc2.net/keepalived-documentation-nightmare
/etc/keepalived/keepalived.conf
, 2 VIP с отправкой писем при изменении статуса и отслеживанием работы сервиса с изменением веса.
Первичный сервер
global_defs { notification_email { user@domain.ru } notification_email_from vmls-haproxy1@domain.ru smtp_server mail.domain.ru smtp_connect_timeout 60 enable_script_security } vrrp_script chk_haproxy { script "/usr/bin/killall -0 haproxy" interval 3 weight 50 user root } vrrp_instance haproxy_DMZ { interface eth2 virtual_router_id 1 priority 100 authentication { auth_type PASS auth_pass 12345 } virtual_ipaddress { 192.168.20.44/24 } track_script { chk_haproxy } smtp_alert } vrrp_instance haproxy_LAN { interface eth0 virtual_router_id 2 priority 100 authentication { auth_type PASS auth_pass 54321 } virtual_ipaddress { 10.1.4.55/16 } track_script { chk_haproxy } smtp_alert }
Вторичный сервер
global_defs { notification_email { user@domain.ru } notification_email_from vmls-haproxy2@domain.ru smtp_server mail.domain.ru smtp_connect_timeout 60 enable_script_security } vrrp_script chk_haproxy { script "/usr/bin/killall -0 haproxy" interval 3 weight 50 user root } vrrp_instance haproxy_DMZ { interface eth2 virtual_router_id 1 priority 90 authentication { auth_type PASS auth_pass 12345 } virtual_ipaddress { 192.168.20.44/24 } track_script { chk_haproxy } smtp_alert } vrrp_instance haproxy_LAN { interface eth0 virtual_router_id 2 priority 90 authentication { auth_type PASS auth_pass 54321 } virtual_ipaddress { 10.1.4.55/16 } track_script { chk_haproxy } amtp_alert }
Отправка писем
Силами Postfix. При настройке выбрать Satellite system, т. е. весь почтовый трафик идёт через внешний почтовый сервер.
Примерный конфиг /etc/postfix/main.cf
. В данном случае - отправка на внутрисетевой открытый релей Exchange. Запуск мастера настройки заново - dpkg-reconfigure postfix
.
# See /usr/share/postfix/main.cf.dist for a commented, more complete version # Debian specific: Specifying a file name will cause the first # line of that file to be used as the name. The Debian default # is /etc/mailname. #myorigin = /etc/mailname smtpd_banner = $myhostname ESMTP $mail_name (Ubuntu) biff = no # appending .domain is the MUA's job. append_dot_mydomain = no # Uncomment the next line to generate "delayed mail" warnings #delay_warning_time = 4h readme_directory = no # See http://www.postfix.org/COMPATIBILITY_README.html -- default to 2 on # fresh installs. compatibility_level = 2 # TLS parameters smtpd_tls_cert_file=/etc/ssl/certs/ssl-cert-snakeoil.pem smtpd_tls_key_file=/etc/ssl/private/ssl-cert-snakeoil.key smtpd_tls_security_level=may smtp_tls_CApath=/etc/ssl/certs smtp_tls_security_level=may smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache smtpd_relay_restrictions = permit_mynetworks permit_sasl_authenticated defer_unauth_destination myhostname = vmls-haproxy2.domain.ru alias_maps = hash:/etc/aliases alias_database = hash:/etc/aliases mydestination = vmls-haproxy2.domain.ru, vmls-haproxy2, localhost.localdomain, localhost relayhost = mail.domain.ru mailbox_size_limit = 0 recipient_delimiter = inet_interfaces = loopback-only inet_protocols = ipv4