一、什么是 Kubernetes
Kubernetes 是 Google (谷歌内部:Borg)开源的容器集群管理系统,其提供应用部署、维护、 扩展机制等功能,利用 Kubernetes 能方便地管理跨机器运行容器化的应用,可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具,也是全新的基于容器技术的分布式架构领先方案。
二、 Kubernetes架构和组件
K8S集群中有管理节点与工作节点两种类型。
1)架构
k8s集群的管理节点,负责管理集群,提供集群的资源数据访问入口。拥有Etcd存储服务(可选),运行Api Server进程,Controller Manager服务进程及Scheduler服务进程,关联工作节点Node。Kubernetes API server提供HTTP Rest接口的关键服务进程,是Kubernetes里所有资源的增、删、改、查等操作的唯一入口。也是集群控制的入口进程;Kubernetes Controller Manager是Kubernetes所有资源对象的自动化控制中心;Kubernetes Schedule是负责资源调度(Pod调度)的进程
工作节点是Kubernetes集群架构中真正运行Pod的节点,为容器和Pod提供计算资源,Pod及容器全部运行在工作节点上,工作节点通过kubelet服务与管理节点通信以管理容器的生命周期,并与集群其他节点进行通信。
2)核心组件
管理节点:
1.Kubernetes API Server
作为Kubernetes系统的入口,其封装了核心对象的增删改查操作,以RESTful API接口方式提供给外部客户和内部组件调用。维护的REST对象持久化到Etcd中存储。
2.Kubernetes Scheduler
为新建立的Pod进行节点(node)选择(即分配机器),负责集群的资源调度。组件抽离,可以方便替换成其他调度器。
3.Kubernetes Controller
负责执行各种控制器,目前已经提供了很多控制器来保证Kubernetes的正常运行。
工作节点:
1.Kubelet
负责管控容器,Kubelet会从Kubernetes API Server接收Pod的创建请求,启动和停止容器,监控容器运行状态并汇报给Kubernetes API Server。
2.Kubernetes Proxy
负责为Pod创建代理服务,Kubernetes Proxy会从Kubernetes API Server获取所有的Service信息,并根据Service的信息创建代理服务,实现Service到Pod的请求路由和转发,从而实现Kubernetes层级的虚拟转发网络。
三、基础环境准备
环境配置信息如下(本次采用虚拟机作为测试环境):
IP地址 |
主机名 |
系统 |
内核版本 |
CPU |
内存 |
192.168.100.6 |
master01.cluster.k8 |
CentOS 7.6 |
5.2.6 |
4c |
4G |
192.168.100.7 |
node01.cluster.k8 |
CentOS 7.6 |
5.2.6 |
4c |
4G |
192.168.100.8 |
node02.cluster.k8 |
CentOS 7.6 |
5.2.6 |
4c |
4G |
1.设置主机名hostname,如在master节点上执行:
[root@master01 ~]# hostnamectl set-hostname master01.cluster.k8
可以按照此方式设置其它主机的主机名
2.添加本机的域名解析,修改master和node节点上的/etc/hosts文件,执行如下命令:
[root@master01 ~]# cat <<EOF >>/etc/hosts
192.168.100.6 master01.cluster.k8
192.168.100.7 node01.cluster.k8
192.168.100.8 node02.cluster.k8
EOF
3.关闭防火墙、selinux和swap
1)关闭防火墙
[root@master01 ~]# systemctl stop firewalld
[root@master01 ~]# systemctl disable firewalld
2)禁用selinux
[root@master01 ~]# setenforce 0 #临时生效
[root@master01 ~]# sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config #永久生效(需要重启服务器)
3)关闭交换分区
[root@master01 ~]# swapoff -a
[root@master01 ~]# sed -i 's/.*swap.*/#&/' /etc/fstab
4.配置内核参数,将桥接的IPv4流量传递到iptables的链中
[root@master01 ~]# cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
[root@master01 ~]# sysctl --system
注意:如果配置时出现No such file or directory,简单来说就是执行一下
[root@master01 ~]# modprobe br_netfilter
5.安装ntpdate,保证集群时间同步
[root@master01 ~]# yum install -y ntpdate
[root@master01 ~]# ntpdate -u ntp.aliyun.com
#可以添加定时任务,进行时钟定时同步
[root@master01 ~]# crontab -e
*/10 * * * * /usr/sbin/ntpdate ntp.aliyun.com;/sbin/hwclock -w;
6.其他软件安装
[root@master01 ~]#yum install wget
7.配置yum源
1)配置阿里云的Kubernetes源
[root@master01 ~]#cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpghttps://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2)配置docker源
[root@master01 ~]#wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
四、安装部署
1、安装docker
[root@master01 ~]#yum install -y yum-utils device-mapper-persistent-data lvm2
# 列出Docker版本
[root@master01 ~]#yum list docker-ce --showduplicates | sort -r
# 安装指定版本
[root@master01 ~]#yum install docker-ce-18.06.3
[root@master01 ~]#systemctl enable docker && systemctl start docker
注意,如果测试环境没有公网ip的情况下,为了保证docker能够正常去拉取镜像,这时就需要为docker配置代理,配置方式如下:
1)直接修改/etc/sysconfig/docker,添加如下内容 (不建议这种方式,这种方式在docker升级或者一些更新操作的时候会导致失效)
HTTP_PROXY="http://[proxy-addr]:[proxy-port]/"
HTTPS_PROXY="https://[proxy-addr]:[proxy-port]/"
export HTTP_PROXY HTTPS_PROXY
2)为docker服务创建一个systemd的目录,并创建docker proxy的代理配置文件,该方式配置后会一直生效
[root@master01 ~]# mkdir -p /etc/systemd/system/docker.service.d
创建/etc/systemd/system/docker.service.d/http-proxy.conf文件,并添加HTTP_PROXY环境变量
[root@master01 ~]#vim /etc/systemd/system/docker.service.d/http-proxy.conf
[Service]
Environment="HTTP_PROXY=http://[proxy-addr]:[proxy-port]/" "HTTPS_PROXY=https://[proxy-addr]:[proxy-port]/" "NO_PROXY=localhost,127.0.0.1,docker-registry.somecorporation.com"
重新加载配置:
[root@master01 ~]#systemctl daemon-reload
重新启动docker
[root@master01 ~]#systemctl restart docker
2、在三个节点分别安装kubeadm、kubelet、kubectl
[root@master01 ~]# yum install -y kubeadm、kubelet、kubectl
[root@master01 ~]# systemctl enable kubelet
Kubelet负责与其他节点集群通信,并进行本节点Pod和容器生命周期的管理。Kubeadm是Kubernetes的自动化部署工具,降低了部署难度,提高效率。Kubectl是Kubernetes集群管理工具
3、部署master管理节点
[root@master01 ~]# kubeadm init --kubernetes-version=1.15.2 \
--apiserver-advertise-address=192.168.100.6 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=100.64.0.0/10 \
--pod-network-cidr=10.244.0.0/16
注意:kubeadm在部署的过程中,默认是从k8s.grc.io下载镜像,国内访问会有问题,所以建议通过--image-repository自己来指定国内的镜像仓库,
这里使用阿里云的镜像仓库
如果集群初始化成功,则会返回如下信息
kubeadm join 192.168.100.6:6443 --token v***ht.38oa8f6snaaiycga --discovery-token-ca-cert-hash sha256:4930dc9796565dd23f221ad7336afee37a7f4790c7487ded6ca26efffae3058a
这些信息是用于将其它node节点加入到Kubernetes集群,在其它node节点上直接执行上边这条命令信息,即可将节点加入到集群。
4、配置集群的管理工具kubectl
[root@master01 ~]#mkdir -p /root/.kube
cp /etc/kubernetes/admin.conf /root/.kube/config
注意:需要将master节点的/root/.kube/config同时也拷贝到其它node节点,否则在通过kubectl查看集群资源信息时会出现The connection to the server localhost:8080 was refused - did you specify the right host or port?错误。
如果将master节点的/root/.kube/config拷贝到其它node节点后,在其它node节点通过kubectl获取相关集群资源对象信息时出现Unable to connect to the server: Forbidden,请检查一下节点是否配置了https代理,如果需要取消代理。
5、部署node节点
直接节点上执行第三步中集群初始化完成后输出的信息,就可以将节点加入到Kubernetes集群中:
[root@node01 ~]#kubeadm join 192.168.100.6:6443 --token v***ht.38oa8f6snaaiycga --discovery-token-ca-cert-hash sha256:4930dc9796565dd23f221ad7336afee37a7f4790c7487ded6ca26efffae3058a
此时查看集群的节点信息:
[root@master01 ~]#kubectl get nodes
NAME STATUS ROLES AGE VERSION
node01.cluster.k8 NotReady master 5m v1.15.2
node02.cluster.k8 NotReady <none> 1m v1.15.2
node03.cluster.k8 NotReady <none> 1m v1.15.2
可以看到集群节点的状态现在还处于NotReady状态,应为现在还没有安装网络插件,主流的网络插件有:flannel、calico、canel等
6、部署flannel网络
[root@master01 ~]#kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml
部署过程中需要去拉取flannel镜像,可能会稍微慢一点,等部署完成后,在去查看集群状态,可以发现集群节点都已经Ready了。
[root@master01 ~]#kubectl get nodes
NAME STATUS ROLES AGE VERSION
node01.cluster.k8 Ready master 15m v1.15.2
node02.cluster.k8 Ready <none> 10m v1.15.2
node03.cluster.k8 Ready <none> 10m v1.15.2
这时候我们就可以通过kubectl工具去创建Pod了。
7、为了管理方便,可以为集群部署一个Dashboard
[root@master01 ~]#kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
注意点:
第一:k8s dashboard 的docker镜像默认是从k8s.grc.io下载镜像,国内可能无法访问,所以可以先下载kubernetes-dashboard.yaml到本地,然后修改 docker镜像的仓库地址为阿里云仓库地址。
[root@master01 ~]#wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml
#替换镜像仓库
[root@master01 ~]#sed -i 's/k8s.gcr.io/registry.aliyuncs.com/google_containers/g' kubernetes-dashboard.yaml
第二:在kubernetes-dashboard.yaml中,关于 kubernetes-dashboard的服务(Service)的定义如下:
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kube-system
spec:
ports:
- port: 443
targetPort: 8443
selector:
k8s-app: kubernetes-dashboard
默认没有指定spec.type,所以默认类型为ClusterIP,所以导致结果为kubernetes-dashboard服务没有映射本地端口,为能够通过节点IP+端口号的方式访问dashboard,则需要对kubernetes-dashboard.yaml做如下修改:
[root@master01 ~]#sed -i '/targetPort:/a\ \ \ \ \ \ nodePort: 30443\n\ \ type: NodePort' kubernetes-dashboard.yaml
#修改后,kubernetes-dashboard的服务(Service)的定义如下:
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kube-system
spec:
ports:
- port: 443
targetPort: 8443
nodePort: 30443
type: NodePort
selector:
k8s-app: kubernetes-dashboard
重新部署Dashboard
[root@master01 ~]#kubectl delete -f kubernetes-dashboard.yaml
[root@master01 ~]#kubectl apply -f kubernetes-dashboard.yaml
建议使用火狐浏览器Firefox访问Dashboard的地址:https://192.168.100.6:30443
注意:使用其它浏览器可能无法访问, 原因是Kubernetes Dashboard自身证书的问题,所以可以通过自己生成自签签证书来解决这个问题。可以参看:https://blog.51cto.com/10616534/2430512
8、获取登录Dashboard的token(令牌):
#创建一个用于Dashboard访问集群的服务账号dashboard-admin
[root@master01 ~]#kubectl create serviceaccount dashboard-admin -n kube-system
#将服务账号dashboard-admin和默认的集群角色cluster-admin绑定
[root@master01 ~]#kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
#获取token
[root@master01 ~]#kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
9、使用token登录Dashboard
认证通过后可以看到如下的Dashboard界面:
10、尝试部署一个pod,并通过Dashboard进行查看
[root@master01 ~]#kubectl create deployment my-nginx --image=nginx