使用 kubeadm 部署 kubernetes HA

2018-07-04 tech docker kubernetes 20 mins 3 图 7177 字

这篇文章记录在测试环境中部署 kubernetes 1.10 的 HA的过程。

Master 节点高可用的思路

非常感谢这个博主得文章，得以一览 k8s HA 的思路——《关于Kubernetes Master高可用的一些策略》

先看下 kubernetes 的架构：

为了实现没有单点故障的目标，在 kubernetes 内部，需要为以下几个组件建立高可用方案：

etcd 集群的数据中心，用于存放集群的配置以及状态信息，非常重要，如果数据丢失那么集群将无法恢复；因此高可用集群部署首先就是 etcd 是高可用集群。

如果你有3个节点，那么最多允许1个节点失效；当你有5个节点时，就可以允许有2个节点失效。

同时，增加节点还可以让etcd集群具有更好的读性能。因为etcd的节点都是实时同步的，每个节点上都存储了所有的信息，所以增加节点可以从整体上提升读的吞吐量。
kube-apiserver 集群核心，集群API接口、集群各个组件通信的中枢。由于 apiserver 是无状态的，每个master节点的apiserver都是active的，并处理来自Load Balance分配过来的流量；
kube-controller-manager 集群状态管理器（内部自选举）。当集群状态与期望不同时，kcm会努力让集群恢复期望状态。默认kubeadm安装情况下–leader-elect参数已经设置为true，保证master集群中只有一个kube-controller-manager处于活跃状态；
kube-scheduler 集群Pod的调度中心（内部自选举）；默认 kubeadm 安装情况下 –leader-elect 参数已经设置为 true，保证 master 集群中只有一个 kube-scheduler 处于活跃状态；
kube-dns

etcd 的高可用，在前篇的文章里我已经有介绍 ——《etcd ha》。本文介绍其他几个组件的高可用。

准备

本文的操作系统环境为 CentOS Linux release 7.3.1611 (Core)

目前已在 10.19.0.55-57 上装好 etcd，并部署好 vip 10.19.0.230，接下来的目的是在55-57上安装 k8s master 作为ha。

为了保证未来安装时环境保持一致，使用 rpm 包安装 kubeadm kubectl kubelet 组件。

kubeadm-1.10.2-0.x86_64.rpm  
kubectl-1.10.2-0.x86_64.rpm  
kubelet-1.10.2-0.x86_64.rpm  
kubernetes-cni-0.6.0-0.x86_64.rpm

yum install *

安装第一台master

安装过程与先前安装 k8s集群相似——《kubernetes 安装入门(centos)》。

修改 kubeadm.conf

$ vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
# 修改 "cgroup-driver"值 由systemd变为cgroupfs
# 原因是 cgroup-driver参数要与docker的一致，否则就会出问题
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs"

# 第九行增加swap-on=false
Environment="KUBELET_EXTRA_ARGS=--fail-swap-on=false"

启动Docker与kubelet服务

systemctl enable kubelet && systemctl start kubelet

使用 config.yaml 进行初始化配置

apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
etcd:
  endpoints:
  - https://10.19.0.55:2379
  - https://10.19.0.56:2379
  - https://10.19.0.57:2379
  caFile: /app/allblue/etcd/ssl/ca.pem
  certFile: /app/allblue/etcd/ssl/server.pem
  keyFile: /app/allblue/etcd/ssl/server-key.pem
  dataDir: /app/allblue/etcddata
networking:
  podSubnet: 10.244.0.0/16
kubernetesVersion: 1.10.0
api:
  advertiseAddress: "10.19.0.230"
token: "b99a00.a144ef80536d4344"
tokenTTL: "0s"
apiServerCertSANs:
- 10.19.0.55
- 10.19.0.56
- 10.19.0.57
- 10.19.0.230
featureGates:
  CoreDNS: true
imageRepository: "10.18.1.230:80/k8s.gcr.io"

使用上述的配置文件，如下安装第一台master：

kubeadm init --config cfg/config.yaml --ignore-preflight-errors Swap

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/bash_profile
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/bashrc

由于是测试环境，机器内存较为紧张，将swap关闭容易导致系统宕机，故而不按照官方推荐的关闭 swap。

另外，在这里我们提前将安装需要的经镜像存储在本地Harbor镜像仓库中，也可以使用下面的脚本提前下载到本地：

images=(kube-proxy-amd64:v1.10.0
kube-scheduler-amd64:v1.10.0
kube-controller-manager-amd64:v1.10.0
kube-apiserver-amd64:v1.10.0
etcd-amd64:3.1.12 pause-amd64:3.1
kubernetes-dashboard-amd64:v1.8.3
k8s-dns-sidecar-amd64:1.14.8
k8s-dns-kube-dns-amd64:1.14.8
k8s-dns-dnsmasq-nanny-amd64:1.14.8
flannel:v0.9.1-amd64
heapster-amd64:v1.4.2)
for imageName in ${images[@]} ; do
  docker pull 10.18.1.230:80/k8s.gcr.io/$imageName
  docker tag 10.18.1.230:80/k8s.gcr.io/$imageName k8s.gcr.io/$imageName
  docker rmi 10.18.1.230:80/k8s.gcr.io/$imageName
done

docker tag k8s.gcr.io/flannel:v0.9.1-amd64 flannel:v0.9.1-amd64

安装flannel网络

mkdir -p /etc/cni/net.d/
cat <<EOF> /etc/cni/net.d/10-flannel.conf
{
"name": "cbr0",
"type": "flannel",
"delegate": {
"isDefaultGateway": true
}
}
EOF

mkdir /usr/share/oci-umount/oci-umount.d -p
mkdir -p /run/flannel/

cat <<EOF> /run/flannel/subnet.env
FLANNEL_NETWORK=10.244.0.0/16
FLANNEL_SUBNET=10.244.1.0/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=true
EOF

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

复制 master 1 证书到另外两台机器：
```
cp -r /etc/kubernetes/pki .
```

安装剩余master

将master 1 中的证书导入到本地：

mkdir -p /etc/kubernetes/
cp -r pki /etc/kubernetes/

其它步骤参考第一台配置即可。

检测系统可用性。

echo "kubectl get node"
kubectl get node
echo ""
echo "kubectl get cs"
kubectl get cs
echo ""
echo "kubectl get po --all-namespaces"
kubectl get po --all-namespaces

添加节点

在master节点查看节点添加命令。

kubeadm token create --print-join-command

扩展kube-dns

为了避免故障，要将 kube-dns的replicas值设为2或者更多，并用anti-affinity将他们部署在不同的Node节点上。

安装ingress

我使用了traefik 作为 ingress 的实现，官网 https://docs.traefik.io/，以下按照 user-guide 进行安装：

    # 创建角色和rbac绑定
    $ kubectl apply -f https://raw.githubusercontent.com/containous/traefik/master/examples/k8s/traefik-rbac.yaml
    
    # ServiceAccount, DaemonSet(直接绑定主机端口)，service
    $ kubectl apply -f https://raw.githubusercontent.com/containous/traefik/master/examples/k8s/traefik-ds.yaml

需要注意的是，官方最近修改的 traefik-ds.yaml 修改了两个地方，并不能正常使用，可以参考左侧进行修改。

安装helm

参考文章《kubernetes helm 入门》

安装dashboard

参考文章《kubernetes 安装入门(centos)》

运行测试

运行几个ns，几个busybox，几个nginx，nslook试试dns问题。

# ns

apiVersion: v1
kind: Namespace
metadata:
  name: demo1
  labels:
    nsname: demo1
---
apiVersion: v1
kind: Namespace
metadata:
  name: demo2
  labels:
    nsname: demo2

busybox和nginx

apiVersion: apps/v1
kind: Deployment
metadata:
  name: busybox-deployment
  namespace: demo2
spec:
  selector:
    matchLabels:
      app: busybox
  replicas: 1
  template:
    metadata:
      labels:
        app: busybox
    spec:
      containers:
      - name: busybox
        image: busybox:1.28.4
        command: [ "/bin/sh" ]
        tty: true
      dnsConfig:
        options:
          - name: single-request-reopen
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-test
  namespace: demo2
spec:
  selector:
    matchLabels:
      app: nginx-test
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx-test
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
        ports:
        - containerPort: 80
      restartPolicy: Always
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: busybox-deployment
  namespace: demo1
spec:
  selector:
    matchLabels:
      app: busybox
  replicas: 1
  template:
    metadata:
      labels:
        app: busybox
    spec:
      containers:
      - name: busybox
        image: busybox:1.28.4
        command: [ "/bin/sh" ]
        tty: true
      dnsConfig:
        options:
          - name: single-request-reopen
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-test
  namespace: demo1
spec:
  selector:
    matchLabels:
      app: nginx-test
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx-test
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        resources:
          requests:
            cpu: 100m
            memory: 100Mi
        ports:
        - containerPort: 80
      restartPolicy: Always

service:

kind: Service
apiVersion: v1
metadata:
  labels:
    app: nginx-test
  name: nginx-test
  namespace: demo2
spec:
  type: NodePort
  ports:
  - port: 8080
    targetPort: 80
    nodePort: 32004
  selector:
    app: nginx-test
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: nginx-test
  name: nginx-test
  namespace: demo1
spec:
  type: NodePort
  ports:
  - port: 8080
    targetPort: 80
    nodePort: 32003
  selector:
    app: nginx-test