Keepalived+Nginx+Tomcat реализует высокодоступный веб-кластер

Nginx

title: Keepalived+Nginx+Tomcat для достижения высокой доступности веб-кластера

集群规划图片

Во-первых, процесс установки Nginx

1. Загрузите установочный пакет Nginx и установите пакет зависимой среды.

(1) Установите среду компиляции C++

yum  -y install gcc   #C++

(2) Установите компьютер

yum  -y install pcre-devel

(3) Установите zlib

yum  -y install  zlib-devel

(4) Установите Nginx

Найдите расположение файла распаковки nginx и выполните команду компиляции и установки.

[root@localhost nginx-1.12.2]# pwd
/usr/local/nginx/nginx-1.12.2
[root@localhost nginx-1.12.2]# ./configure  && make && make install

(5) Запустите Nginx

После завершения установки найдите расположение каталога, в котором установка завершена.

[root@localhost nginx-1.12.2]# whereis nginx
nginx: /usr/local/nginx
[root@localhost nginx-1.12.2]#

Войдите в подкаталог sbin Nginx, чтобы запустить Nginx.

[root@localhost sbin]# ls
nginx
[root@localhost sbin]# ./nginx &
[1] 5768
[root@localhost sbin]#

Проверьте, запущен ли Nginx

Niginx启动成功截图
Или проверьте статус запуска Nginx через процесс

[root@localhost sbin]# ps -aux|grep nginx
root       5769  0.0  0.0  20484   608 ?        Ss   14:03   0:00 nginx: master process ./nginx
nobody     5770  0.0  0.0  23012  1620 ?        S    14:03   0:00 nginx: worker process
root       5796  0.0  0.0 112668   972 pts/0    R+   14:07   0:00 grep --color=auto nginx
[1]+  完成                  ./nginx
[root@localhost sbin]#

На данный момент Nginx установлен и успешно запущен.

(6) Запуск ярлыка Nginx и конфигурация запуска

Отредактируйте сценарий запуска ярлыка Nginx [Обратите внимание на путь установки Nginx,Вам необходимо внести изменения в соответствии с вашим собственным путем NGINX】

[root@localhost init.d]# vim /etc/rc.d/init.d/nginx

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /usr/local/nginx/conf/nginx.conf
# pidfile: /usr/local/nginx/logs/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
    # make required directories
    user=`$nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
    if [ -z "`grep $user /etc/passwd`" ]; then
    useradd -M -s /bin/nologin $user
    fi
    options=`$nginx -V 2>&1 | grep 'configure arguments:'`
    for opt in $options; do
    if [ `echo $opt | grep '.*-temp-path'` ]; then
    value=`echo $opt | cut -d "=" -f 2`
    if [ ! -d "$value" ]; then
    # echo "creating" $value
    mkdir -p $value && chown -R $user $value
    fi
    fi
    done
}
 
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    #configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    #configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
    $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
 
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac

Авторизуйте сценарий запуска и добавьте его в загрузку

[root@localhost init.d]# chmod -R 777 /etc/rc.d/init.d/nginx 
[root@localhost init.d]# chkconfig  nginx

Запустить Nginx

[root@localhost init.d]# ./nginx start

Добавьте Nginx в переменные системной среды

[root@localhost init.d]# echo 'export PATH=$PATH:/usr/local/nginx/sbin'>>/etc/profile && source /etc/profile

Команда Nginx [ служба nginx (запуск | остановка | перезапуск)]

[root@localhost init.d]# service nginx start
Starting nginx (via systemctl):                            [  确定  ]

Tips:команда быстрого доступа

service nginx (start|stop|restart)

Во-вторых, установка и настройка KeepAlived.

1. Установите среду зависимостей Keepalived

yum install -y popt-devel     
yum install  -y ipvsadm
yum install -y libnl*
yum install -y libnf*
yum install -y openssl-devel

2. Скомпилируйте и установите Keepalived

[root@localhost keepalived-1.3.9]# ./configure
[root@localhost keepalived-1.3.9]#  make && make install

3. Установите Keepalive как системную службу

[root@localhost etc]# mkdir /etc/keepalived
[root@localhost etc]# cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/

Вручную скопируйте файл конфигурации по умолчанию в путь по умолчанию

[root@localhost etc]#  mkdir /etc/keepalived
[root@localhost etc]# cp /usr/local/keepalived/etc/sysconfig/keepalived  /etc/sysconfig/
[root@localhost etc]# cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

Создание программных ссылок для поддержки активности

[root@localhost sysconfig]# ln -s /usr/local/keepalived/sbin/keepalived  /usr/sbin/

Установите Keepalived для автоматического запуска при загрузке

[root@localhost sysconfig]# chkconfig keepalived  on
注意：正在将请求转发到“systemctl enable keepalived.service”。
Created symlink from /etc/systemd/system/multi-user.target.wants/keepalived.service to /usr/lib/systemd/system/keepalived.service

Запустите службу поддержки активности

[root@localhost keepalived]# keepalived -D  -f /etc/keepalived/keepalived.conf

Отключить службу Keepalived

[root@localhost keepalived]# killall keepalived

3. Планирование и строительство кластера

集群规划图片

Подготовка среды:
CentOS 7.2
Keepalived   Version 1.4.0 - December 29, 2017
Nginx           Version: nginx/1.12.2
Tomcat         Version:8

Контрольный список кластерного планирования

виртуальная машина IP иллюстрировать
Keepalived+Nginx1[Master] 192.168.43.101 Nginx Server 01
Keeepalived+Nginx[Backup] 192.168.43.102 Nginx Server 02
Tomcat01 192.168.43.103 Tomcat Web Server01
Tomcat02 192.168.43.104 Tomcat Web Server02
VIP 192.168.43.150 Виртуальный дрейф IP

1. Измените страницу приветствия Tomcat по умолчанию, чтобы идентифицировать веб-сервер коммутатора.

Измените информацию ROOT/index.jsp узла TomcatServer01, добавьте IP-адрес Tomcat и добавьте значение Nginx, то есть измените информацию узла 192.168.43.103 следующим образом:

<div id="asf-box">
    <h1>${pageContext.servletContext.serverInfo}(192.168.224.103)<%=request.getHeader("X-NGINX")%></h1>
</div>

Измените информацию root / index.jsp узла Tomcatserver02, добавьте IP-адрес TOMCAT и добавьте значение Nginx, то есть изменение узла 192.168.43.104 Информацию следующим образом:

<div id="asf-box">
    <h1>${pageContext.servletContext.serverInfo}(192.168.224.104)<%=request.getHeader("X-NGINX")%></h1>
</div>

2. Запустите службу Tomcat и проверьте информацию об IP службы Tomcat.В это время Nginx не запущен, поэтому в заголовке запроса нет информации Nginx.

Tomcat启动信息

3. Настройте информацию о прокси-сервере Nginx

1. Настройте информацию прокси главного узла [192.168.43.101].

upstream tomcat {
   server 192.168.43.103:8080 weight=1;
   server 192.168.43.104:8080 weight=1;
}
server{
   location / {
       proxy_pass http://tomcat;
   proxy_set_header X-NGINX "NGINX-1";
   }
   #......其他省略
}

2. Настройте информацию прокси резервного узла [192.168.43.102].

upstream tomcat {
    server 192.168.43.103:8080 weight=1;
    server 192.168.43.104:8080 weight=1;
}
server{
    location / {
        proxy_pass http://tomcat;
    proxy_set_header X-NGINX "NGINX-2";
    }
    #......其他省略
}

3. Запустите службу Master node Nginx.

[root@localhost init.d]# service nginx start
Starting nginx (via systemctl):                            [  确定  ]

На этом этапе, если вы посетите 192.168.43.101, вы увидите, что 103 и 104 узлы Tcomat отображаются попеременно, что указывает на то, что служба Nginx загрузила запрос на 2 кота.

Nginx 负载效果

4. Аналогичным образом настройте информацию Backup[192.168.43.102] Nginx.После запуска Nginx вы можете увидеть, что узел Backup воспроизвел эффект загрузки после доступа к 192.168.43.102.

Backup负载效果

4. Настройте информацию сценария Keepalived

1.На главном узле и ведомом узлеДобавьте файл check_nginx.sh в каталог /etc/keepalived, чтобы определить статус работы Nginx, и добавьте файл keepalived.conf.

Информация о файле check_nginx.sh выглядит следующим образом:

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
        /etc/rc.d/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

После завершения добавления авторизуйте файл check_nginx.sh, чтобы скрипт мог получить разрешение на выполнение.

[root@localhost keepalived]# chmod -R 777 /etc/keepalived/check_nginx.sh

2. В каталоге главного узла /etc/keepalived добавьте файл keepalived.conf со следующей конкретной информацией:

vrrp_script chk_nginx {  
 script "/etc/keepalived/check_nginx.sh"   //检测nginx进程的脚本  
 interval 2  
 weight -20  
}  

global_defs {  
 notification_email {  
     //可以添加邮件提醒  
 }  
}  
vrrp_instance VI_1 {  
 state MASTER                  #标示状态为MASTER 备份机为BACKUP
 interface ens33               #设置实例绑定的网卡(ip addr查看，需要根据个人网卡绑定)
 virtual_router_id 51          #同一实例下virtual_router_id必须相同   
 mcast_src_ip 192.168.43.101   
 priority 250                  #MASTER权重要高于BACKUP 比如BACKUP为240  
 advert_int 1                  #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
 nopreempt                     #非抢占模式
 authentication {              #设置认证
        auth_type PASS         #主从服务器验证方式
        auth_pass 123456  
 }  
 track_script {  
        check_nginx  
 }  
 virtual_ipaddress {           #设置vip
        192.168.43.150         #可以多个虚拟IP，换行即可
 }  
}

3. Добавьте файл конфигурации keepalived.conf в каталог etc/keepalived узла Backup.

Сообщение следующего содержания:

vrrp_script chk_nginx {  
 script "/etc/keepalived/check_nginx.sh"   //检测nginx进程的脚本  
 interval 2  
 weight -20  
}  

global_defs {  
 notification_email {  
     //可以添加邮件提醒  
 }  
}  
vrrp_instance VI_1 {  
 state BACKUP                  #标示状态为MASTER 备份机为BACKUP
 interface ens33               #设置实例绑定的网卡(ip addr查看)
 virtual_router_id 51          #同一实例下virtual_router_id必须相同   
 mcast_src_ip 192.168.43.102   
 priority 240                  #MASTER权重要高于BACKUP 比如BACKUP为240  
 advert_int 1                  #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
 nopreempt                     #非抢占模式
 authentication {              #设置认证
        auth_type PASS         #主从服务器验证方式
        auth_pass 123456  
 }  
 track_script {  
        check_nginx  
 }  
 virtual_ipaddress {           #设置vip
        192.168.43.150         #可以多个虚拟IP，换行即可
 }  
}

Tips:Несколько замечаний по информации о конфигурации

  • состояние — главный сервер должен быть настроен как ГЛАВНЫЙ, а подчиненный сервер должен быть настроен как РЕЗЕРВНЫЙ.
  • интерфейс - это имя сетевой карты, я использую версию VM12.0, поэтому имя сетевой карты здесь ens33
  • mcast_src_ip — настроить соответствующий фактический IP-адрес
  • приоритет - приоритет главного сервера должен быть выше, чем у подчиненного сервера, здесь главный сервер настроен как 250, а подчиненный сервер настроен как 240.
  • virtual_ipaddress — настроить виртуальный IP (192.168.43.150)
  • аутентификация - главный и подчиненный серверы auth_pass должны быть согласованы, keepalived полагается на это для связи
  • virtual_router_id — главный и подчиненный серверы должны быть согласованы

5. Проверка высокой доступности (HA) кластера

  • Шаг 1. Запустите службы Keepalived и Nginx на главной машине.
[root@localhost keepalived]# keepalived  -D -f /etc/keepalived/keepalived.conf
[root@localhost keepalived]# service nginx start

Посмотреть процесс запуска службы

[root@localhost keepalived]# ps -aux|grep nginx
root       6390  0.0  0.0  20484   612 ?        Ss   19:13   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody     6392  0.0  0.0  23008  1628 ?        S    19:13   0:00 nginx: worker process
root       6978  0.0  0.0 112672   968 pts/0    S+   20:08   0:00 grep --color=auto nginx

Просмотрите процесс запуска Keepalived

[root@localhost keepalived]# ps -aux|grep keepalived
root       6402  0.0  0.0  45920  1016 ?        Ss   19:13   0:00 keepalived -D -f /etc/keepalived/keepalived.conf
root       6403  0.0  0.0  48044  1468 ?        S    19:13   0:00 keepalived -D -f /etc/keepalived/keepalived.conf
root       6404  0.0  0.0  50128  1780 ?        S    19:13   0:00 keepalived -D -f /etc/keepalived/keepalived.conf
root       7004  0.0  0.0 112672   976 pts/0    S+   20:10   0:00 grep --color=auto keepalived

Используйте ip add для просмотра ситуации с привязкой виртуального IP.Если появится информация об узле 192.168.43.150, выполните привязку к главному узлу.

[root@localhost keepalived]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:91:bf:59 brd ff:ff:ff:ff:ff:ff
    inet 192.168.43.101/24 brd 192.168.43.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.43.150/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::9abb:4544:f6db:8255/64 scope link 
       valid_lft forever preferred_lft forever
    inet6 fe80::b0b3:d0ca:7382:2779/64 scope link tentative dadfailed 
       valid_lft forever preferred_lft forever
    inet6 fe80::314f:5fe7:4e4b:64ed/64 scope link tentative dadfailed 
       valid_lft forever preferred_lft forever
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN qlen 1000
    link/ether 52:54:00:2b:74:aa brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state DOWN qlen 1000
    link/ether 52:54:00:2b:74:aa brd ff:ff:ff:ff:ff:ff
  • Шаг 2 Запустите службу Nginx и службу Keepalived на узле резервного копирования и проверьте статус запуска службы.Если на узле резервного копирования появляется виртуальный IP, проблема с файлом конфигурации Keepalvied.Эта ситуация называется разделенным мозгом.
[root@localhost keepalived]# clear
[root@localhost keepalived]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:14:df:79 brd ff:ff:ff:ff:ff:ff
    inet 192.168.43.102/24 brd 192.168.43.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::314f:5fe7:4e4b:64ed/64 scope link 
       valid_lft forever preferred_lft forever
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN qlen 1000
    link/ether 52:54:00:2b:74:aa brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state DOWN qlen 1000
    link/ether 52:54:00:2b:74:aa brd ff:ff:ff:ff:ff:ff
  • Шаг 3 Подтвердите услугу
    Просмотрите и принудительно обновите адрес несколько раз:http://192.168.43.150, вы можете видеть, что 103 и 104 попеременно отображаются несколько раз, а также отображается Nginx-1, что указывает на то, что мастер-узел пересылает веб-сервисы.
  • Шаг 4. Отключите основную службу поддержки активности и службу Nginx и получите доступ к веб-службе, чтобы наблюдать за передачей службы.
[root@localhost keepalived]# killall keepalived
[root@localhost keepalived]# service nginx stop

В этот момент принудительно обновляется страница 192.168.43.150 и обнаруживается, что попеременно отображаются 103 и 104 и отображается Nginx-2. автоматически переключается на резервный узел.

  • Шаг 5. Запустите службу Master Keepalived и службу Nginx.
    В этот момент снова проверяется, что VIP был повторно занят Мастером, и на странице попеременно отображаются 103 и 104, а в это время отображается Nginx-1.

4. Упреждающий режим Keepalived и неупреждающий режим

HA поддержки активности делится на вытесняющий режим и невытесняющий режим.В вытесняющем режиме, после того как ГЛАВНЫЙ восстановится после сбоя, он вытеснит VIP с резервного узла. Невытесняющий режим означает, что VIP после обновления BACKUP до MASTER не будет вытеснен после восстановления MASTER.
Конфигурация невытесняющего режима:

  • 1> Каждый из двух узлов в блоке vrrp_instance добавляет инструкцию nopreempt, указывающую, что они не конкурируют за vip.
  • 2> Состояние узла — резервное. После запуска двух узлов Keepalived по умолчанию используется резервное состояние.После отправки многоадресной информации обе стороны выбирают один MASTER в соответствии с приоритетом. Поскольку оба настроены, Master не будет захватывать VIP из-за неисправности. Это позволит избежать задержки обслуживания, которую может вызвать переключение VIP.
Категории