Установка и развертывание сервисного кластера Kubernetes (k8s) в 2021 году

Kubernetes

1. Подготовка окружающей среды

1. Серверная среда

Количество ядер ЦП узла должно быть: >= 2 ядра, иначе k8s не сможет запустить DNS-сеть: Лучше всего установить DNS, подключенный к локальной сети, иначе сеть будет заблокирована, а некоторые зеркальные образы не смогут Ядро Linux: ядро ​​Linux должно быть версии 4 или выше, поэтому необходимо обновить ядро ​​Linux, чтобы подготовить 3 среды виртуальных машин или 3 облачных сервера Alibaba. k8s-master01: операционная среда, используемая этим компьютером для установки k8s-master k8s-node01: среда, используемая этим компьютером для установки узлов k8s k8s-node02: среда, используемая этим компьютером для установки узлов узлов k8s

2, в зависимости от окружающей среды

1. Установите имя хоста для каждой машины
hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02
#查看主机名
hostname
#配置IP host映射关系
vi /etc/hosts
192.168.140.128  k8s-master01
192.168.140.140  k8s-node01
192.168.140.139  k8s-node02
2. Установите зависимую среду, примечание: каждая машина должна установить эту зависимую среду.
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-utils unzip bind-utils gcc
3. Отключите брандмауэр и Selinux.
systemctl stop firewalld && systemctl disable firewalld
# 置空iptables 
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
4. Обновите ядро ​​Linux до версии 4.44.
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
#安装内核
yum --enablerepo=elrepo-kernel install -y kernel-lt
查看当前的所有内核版本
cat /boot/grub2/grub.cfg | grep menuentry
查看当前启动内核版本
grub2-editenv list
修改启动内核版本，设置开机从新内核启动
grub2-set-default 'CentOS Linux (5.7.7-1.el7.elrepo.x86_64) 7 (Core)'
#注意：设置完内核后，需要重启服务器才会生效。
#查询内核
uname -r
5. Настроить параметры ядра, для k8s
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

#将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
#手动刷新，让优化文件立即生效
sysctl -p /etc/sysctl.d/kubernetes.conf
6. Настройте временную область системы - если вы установили часовой пояс, вы можете его пропустить.
#设置系统时区为中国/上海
timedatectl set-timezone Asia/Shanghai
#将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond
7. Отключите ненужные службы в системе
systemctl stop postfix && systemctl disable postfix
8. Установите метод сохранения журнала
1.创建保存日志的目录
mkdir /var/log/journal
2.创建配置文件存放目录
mkdir /etc/systemd/journald.conf.d
3.创建配置文件
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
Storage=persistent
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G
SystemMaxFileSize=200M
MaxRetentionSec=2week
ForwardToSyslog=no
EOF
4.重启systemd journald的配置
systemctl restart systemd-journald
9. Настройте количество открытых файлов (можно игнорировать, не выполнять)
echo "* soft nofile 65536" >> /etc/security/limits.conf
echo "* hard nofile 65536" >> /etc/security/limits.conf
10. kube-proxy включает предварительные условия ipvs
modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
注意：nf_conntrack_ipv4适用于4的内核版本，本内核版本部署时需要修改成modprobe -- nf_conntrack，下面也一样
##使用lsmod命令查看这些文件是否被引导
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

3. Развертывание докера

1. Установите докер
yum install -y yum-utils device-mapper-persistent-data lvm2
#紧接着配置一个稳定（stable）的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
#更新Yum安装的相关Docke软件包&安装Docker CE
yum update -y && yum install docker-ce
2. Настройте файл демона Docker
#创建/etc/docker目录
mkdir /etc/docker
#更新daemon.json文件
cat > /etc/docker/daemon.json <<EOF
{"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"}}
EOF
#注意： 一定注意编码问题，出现错误：查看命令：journalctl -amu  docker 即可发现错误

#创建，存储docker配置文件
mkdir -p /etc/systemd/system/docker.service.d
3. Перезапустите службу докеров.
systemctl daemon-reload && systemctl restart docker && systemctl enable docker

4. Установите кубадм

1. При установке kubernetes вам необходимо установить kubelet, kubeadm и другие пакеты, но источник yum, указанный на официальном сайте k8s, — packages.cloud.google.com, доступ к которому в Китае недоступен.В настоящее время мы можем использовать Alibaba. Изображение склада yum в облаке.
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum update -y
2. Установите kubeadm, kubelet, kubectl
yum install -y kubeadm-1.15.1 kubelet-1.15.1 kubectl-1.15.1
3. Запустить кубелет
systemctl enable kubelet && systemctl start kubelet

2. Установка кластера

1. Зависимое зеркало

Загрузите сжатый пакет образа и импортируйте образ в сжатом пакете на локальное зеркальное хранилище:kubeadm-basic.images.tar.gz

Ссылка на сетевой диск Baidu: ссылка:Disk.Baidu.com/Yes/1SPL taHealth P…Код извлечения: grcd

Когда kubeadm инициализирует кластер k8s, он загружает (извлекает) соответствующий образ из облака gce Google, а образ относительно большой, а загрузка идет медленно, поэтому используется загруженный образ.

Напишите задачу скрипта, импортируйте пакет образа в локальное хранилище образов docker:

1. Импортируйте код сценария изображения (создайте файл сценария sh в любом каталоге: image-load.sh)
#!/bin/bash
#注意 镜像解压的目录位置
ls /root/kubeadm-basic.images > /tmp/images-list.txt
cd /root/kubeadm-basic.images
for i in $(cat /tmp/images-list.txt)
do
        docker load -i $i
done
rm -rf /tmp/images-list.txt
2. Изменить разрешения, выполнить разрешения
chmod 755 image-load.sh
3. Начать выполнение, зеркальный импорт
./image-load.sh
4. Передача файлов и изображений на другие узлы
#拷贝到node01节点
scp -r image-load.sh kubeadm-basic.images root@k8s-node01:/root/  
#拷贝到node02节点
scp -r image-load.sh kubeadm-basic.images root@k8s-node02:/root/  

#其他节点依次执行sh脚本，导入镜像

2. развертывание k8s

# Инициализировать мастер-узел - нужно выполнить только на главном узле

1. Вытащите файл конфигурации ресурсов yaml
kubeadm config print init-defaults > kubeadm-config.yaml
2. Измените файл ресурсов yaml
	localAPIEndpoint:
	  advertiseAddress: 192.168.66.10 # 注意：修改配置文件的IP地址
	kubernetesVersion: v1.15.1 #注意：修改版本号，必须和kubectl版本保持一致
	networking:
	  # 指定flannel模型通信 pod网段地址,此网段和flannel网段一致
	  podSubnet: "10.244.0.0/16"
	  serviceSubnet: "10.96.0.0/12"
	#指定使用ipvs网络进行通信
	---
	apiVersion: kubeproxy.config.k8s.io/v1alpha1
	kind: kubeProxyConfiguration
	featureGates:
	  SupportIPVSProxyMode: true
	mode: ipvs
3. Инициализируйте главный узел и начните развертывание.
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
#注意：执行此命令，CPU核心数量必须大于1核，否则无法执行成功
如果初始化失败就执行：kubeadm reset

После успешной инициализации главного узла kubernetes он выглядит следующим образом:

Следуйте инструкциям k8s и выполните следующую команду:

4. После успешной инициализации выполните следующую команду
#创建目录，保存连接配置缓存，认证文件
mkdir -p $HOME/.kube
#拷贝集群管理配置文件
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
#授权给配置文件
chown $(id -u):$(id -g) $HOME/.kube/config

После выполнения команды запросите node:,

在这里插入图片描述

Мы обнаружили, что информация об узле может быть успешно запрошена, но состояние узла — «Не готов», а не «Работает». Причина в том, что в настоящее время мы используем ipvs+flannel для сетевого взаимодействия, но сетевой подключаемый модуль flannel еще не развернут, поэтому в настоящее время состояние узла — NotReady.

3. Фланелевый плагин

# развернуть сетевой плагин flannel — его нужно запускать только на главном узле

1. Загрузите сетевой плагин flanel.

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
2. Развернуть фланель
kubectl create -f kube-flannel.yml
#也可进行部署网络
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

При развертывании сетевого плагина flanel обратите внимание на проблему подключения к сети:

在这里插入图片描述

Чтобы присоединиться к главному узлу и другим рабочим узлам, выполните команды в журнале установки.

#查看日志文件
cat kubeadm-init.log
# 复制命令到其他几个node节点进行执行即可
kubeadm join 192.168.140.128:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:a3d9827be411208258aea7f3ee9aa396956c0a77c8b570503dd677aa3b6eb6d8

После завершения выполнения эффект просмотра выглядит следующим образом: обнаружено, что некоторые узлы все еще находятся в состоянии NotReady, поскольку контейнеры pod этих узлов все еще находятся в инициализированном состоянии и требуют некоторого ожидания:

在这里插入图片描述

Запрос сведений о контейнере модуля в рабочей области

在这里插入图片描述
Категории