kubernetes服务暴露介绍
到目前为止，kubernetes总共有三种暴露服务的方式：
- LoadBlancer Service
- NodePort Service
- Ingress
LoadBlancer Service
LoadBlancer Service是kubernetes结合云平台的组件，如国外的GCE，AWS，国内阿里云等等。使用它项使用的底层云平台申请创建负载均衡器来实现，对使用云平台的集群比较方便，但有局限，费用高。
NodePort Service
我们之前博文中暴露服务时，用的都是nodeport，实质上就是通过在集群的每个节点上暴露一个端口，然后将这个端口映射到某个具体的service来实现的，比较直观方便，虽然每个node的端口有很多（0~65535），但是由于安全和易用方面（服务多了就乱了，还有端口冲突问题）且对主机安全性存在一定风险（内网环境，问题不大），所以实际使用并不多，当然对于小规模的集群服务，还是比较不错的。
以上两种服务从各方面看似都不太理想，所以通过情况下，我们会通过Ingress对象来实现（安全，方便统一管理）。
Ingress概述
一，什么是Ingress？
在kubernetes集群中，我们知道service和pod的ip仅在集群内部访问。如果外部应用要访问集群内的服务，集群外部的请求需要通过负载均衡转发到service在Node上暴露的NodePort上，然后再由kube-proxy组件将其转发给相关的pod。
而Ingress就是为进入集群的请求提供路由规则的集合，通俗点就是提供外部访问集群的入口，将外部的HTTP或者HTTPS请求转发到集群内部service上。
流程图如上，其中Ingress代理的并不是pod的service，而是pod，之所以在配置的时候是配置的service，是为了通过service来获取所有pod的信息。
.
二，Ingress-nginx组成
Ingress-nginx一般由三个组件组成：
- 反向代理负载均衡器
- Ingress Controller
- Ingress
1）反向代理负载均衡器：通常以service的port方式运行，接收并按照ingress定义的规则进行转发，常用的有nginx，Haproxy，Traefik等，本文中使用的就是nginx。
2）ingress-nginx-Controller： 监听APIServer，根据用户编写的ingress规则（编写ingress的yaml文件），动态地去更改nginx服务的配置文件，并且reload重载使其生效，此过程是自动化的（通过lua脚本来实现）。
3）Ingress：将nginx的配置抽象成一个Ingress对象，当用户每添加一个新的服务，只需要编写一个新的ingress的yaml文件即可。
三，Ingress-nginx的工作原理
1）ingress controller通过和kubernetes api交互，动态的去感知集群中ingress规则变化。
2）然后读取它，按照自定义的规则，规则就是写明了那个域名对应哪个service，生成一段nginx配置。
3）在写到nginx-ingress-controller的pod里，这个Ingress controller的pod里运行着一个Nginx服务，控制器会把生成的nginx配置写入/etc/nginx.conf文件中。
4）然后reload一下使配置生效，以此达到分配和动态更新问题。
四，ingress-nginx解决了生产环境中哪些问题？
1）动态配置服务：
如果按照传统方式，当新增加一个服务时，我们可能需要在流量入口加一个反向代理指向我们新的服务，而使用ingress，只需要配置好ingress，当服务启动时，会自动注册到ingress当中，不需要额外的操作。
2）减少不必要的Port暴露（安全，端口容易管理）
我们知道部署k8s时，是需要关闭防火墙的，主要原因是k8s的很多服务会以nodeport方式映射出去，这样对于宿主机来说是非常的不安全的，而ingress可以避免这个问题，只需要将ingress自身服务映射出去，就可代理后端所有的服务，则后端服务不需要映射出去。
部署Ingress-nginx
本文通过以下配置示例来实践ingress-nginx：
在本文部署ingress-nginx中所有用到的docker镜像包，大家可以从我GitHub中进行下载，镜像包下载链接：https://github.com/sqm-sys/Ingress-nginx/releases/tag/v1
一，部署ingress-nginx前准备：
1，搭建私有仓库（registry），并push测试镜像（apache，tomcat）到仓库中
#运行registry私有仓库：
[root@master ~]# docker run -d --name registry --restart=always -p 5000:5000 -v /data/registry:/var/lib/registry registry
#修改docker配置文件：
[root@master ~]# vim /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H unix:// --insecure-registry 172.16.1.30:5000
#拷贝修改后的docker配置文件到集群其他节点中：
[root@master ~]# scp /usr/lib/systemd/system/docker.service node01:/usr/lib/systemd/system/
[root@master ~]# scp /usr/lib/systemd/system/docker.service node02:/usr/lib/systemd/system/
#集群中所有主机重新加载进程，并重启docker服务：
[root@master ~]# systemctl daemon-reload
[root@master ~]# systemctl restart docker
#push测试镜像至私有仓库：
[root@master ~]# docker push 172.16.1.30:5000/apache:v1
[root@master ~]# docker push 172.16.1.30:5000/tomcat:v1
2,创建namespace
#创建yaml文件：
apiVersion: v1
kind: Namespace
metadata:
name: ingress-test
#创建并查看namespace：
[root@master ~]# kubectl create -f ns.yaml
namespace/ingress-nginx created
[root@master ~]# kubectl get ns
NAME STATUS AGE
default Active 92d
ingress-test Active 4s
3，创建deployment及service资源进行测试
1）创建httpd及service资源：
[root@master ~]# mkdir ingress-nginx
[root@master ~]# cd ingress-nginx/
[root@master ingress-nginx]# vim httpd.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: httpd
namespace: ingress-test
spec:
replicas: 3
template:
metadata:
labels:
name: httpd
spec:
containers:
- name: httpd
image: 172.16.1.30:5000/apache:v1 #镜像从私有仓库中进行拉取
---
apiVersion: v1
kind: Service
metadata:
name: httpd-svc
namespace: ingress-test
spec:
type: NodePort
selector:
name: httpd
ports:
- protocol: TCP
port: 80
targetPort: 80
nodePort: 32134
2）创建tomcat及service资源：
[root@master ingress-nginx]# vim tomcat.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: tomcat
namespace: ingress-test
spec:
replicas: 3
template:
metadata:
labels:
name: tomcat
spec:
containers:
- name: tomcat
image: 172.16.1.30:5000/tomcat:v1
---
apiVersion: v1
kind: Service
metadata:
name: tomcat-svc
namespace: ingress-test
spec:
type: NodePort
selector:
name: tomcat
ports:
- protocol: TCP
port: 8080
targetPort: 8080
nodePort: 32135
#创建以上两个应用，并查看是否创建成功：
[root@master ingress-nginx]# kubectl create -f httpd.yaml
deployment.extensions/httpd created
service/httpd-svc create
[root@master ingress-nginx]# kubectl create -f tomcat.yaml
deployment.extensions/tomcat created
service/tomcat-svc created
3）测试外部通过nodeport方式能否访问到集群内部应用：
可以看到通过nodeport暴露的方式是没有问题的，但是到该种方式在大规模的集群服务中，有很大的缺陷，所以接下来通过ingress-nginx进行实现。
二，创建ingress-nginx
1）GitHub上下载yaml文件的网页链接：https://github.com/kubernetes/ingress-nginx/blob/master/docs/deploy/index.md
进入后显示以下页面：
#注意：网页上完整的命令是直接执行该yaml文件，我们先不要执行，先将该yaml文件下载到本地主机上。（复制命令即可）
[root@master ingress-nginx]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.28.0/deploy/static/mandatory.yaml
[root@master ingress-nginx]# ls
httpd.yaml mandatory.yaml tomcat.yaml
2）修改yaml文件：
[root@master ingress-nginx]# vim mandatory.yaml
#添加以下字段：
hostNetwork: true
如果使用此网络参数，那么pod中运行的应用程序可以直接使用node节点端口，这样node节点主机所在的网络的其他主机，都可以通过访问到此应用程序。
nodeSelector:
设置节点标签选择器，指定在哪台节点上运行。（保持默认即可，让它自己选择，当然大家也可以自定义标签并选择运行对应的node）
.
上面镜像包的版本可能会经常的更新，我用的是当前最新版本0.28.0，大家可以根据自己想用的版本进行下载。
注意：因为默认yaml文件中指定下载地址是国外的镜像，由于国内网络环境限制，我们不能直接从google的镜像站下载镜像，所以大家可以通过以下方式进行下载：
[root@master ingress-nginx]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller:0.28.0
3）导入镜像包-将nginx-ingress-controller.0.28.0镜像包导入集群中的各个节点：
[root@node01 ~]# docker load < nginx-ingress-controller.0.28.0.tar
[root@node01 ~]# docker images | grep nginx-ingress
registry.cn-hangzhou.aliyuncs.com/google_containers/nginx-ingress-controller 0.28.0 61de39f77f45 7 days ago 305MB
//在master上执行该yaml文件：
//查看ingress-nginx pod是否运行：
[root@master ingress-nginx]# kubectl get pod -n ingress-nginx -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-ingress-controller-685985b5b8-8mzjc 1/1 Running 0 43s 172.16.1.32 node02 <none> <none>
4）创建ingress规则（YAML文件）
yaml文件内容如下：
[root@master ingress-nginx]# vim ingress-rule.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: test-ingress
namespace: ingress-test
annotations:
nginx.ingress.kubernetes.io/rewrite-target: /
spec:
rules:
- host: ingress.test.com #后端应用通过该域名进行访问
http:
paths:
- path: / #apache的网页根目录：/
backend:
serviceName: httpd-svc
servicePort: 80
- path: /tomcat #tomcat的网页更目录：/tomcat
backend:
serviceName: tomcat-svc
servicePort: 8080
创建该规则就是用于分别代理后端的apache和tomcat服务。
//创建ingress，并查看绑定信息：
[root@master ingress-nginx]# kubectl create -f ingress-rule.yaml
ingress.extensions/test-ingress created
[root@master ingress-nginx]# kubectl get ingresses. -n ingress-test
NAME HOSTS ADDRESS PORTS AGE
test-ingress ingress.test.com 80 17s
#查看describe查看详细信息（确保成功绑定后端得到apache和tomcat服务）
。
##进入ingress容器查看nginx的配置文件：
[root@master ingress-nginx]# kubectl exec -it -n ingress-nginx nginx-ingress-controller-685985b5b8-8mzjc /bin/sh
/etc/nginx $ cat nginx.conf
通过查看nginx配置文件，我们可以了解到ingress-controller会根据我们编写的ingress规则（规则就是代理后端应用且会生成一段nginx配置），将nginx配置动态写入到nginx的配置文件中，并使其reload生效。
5）通过域名访问集群内的服务
##当前我们需要知道ingress运行在那个node上：
[root@master ingress-nginx]# kubectl get pod -o wide -n ingress-nginx
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-ingress-controller-685985b5b8-8mzjc 1/1 Running 0 31m 172.16.1.32 node02 <none> <none>
我们没有搭建DNS服务器，所以需要在windows主机上将node02的ip地址添加到hosts文件中，做域名解析：
修改路径：C:\Windows\System32\drivers\etc\hosts（需要给予修改权限）
172.16.1.32 ingress.test.com #添加该条内容
##访问httpd：
##访问tomcat：
6）创建ingress的service资源对象：
虽然上面通过ingress已经能够代理后端的应用了，但是我们可以发现只能通过指定运行节点的地址来做域名解析（访问网页），不能通过集群中的其他节点来访问，如果该节点挂掉了，则会导致ingress无法代理后端的应用，所以我们需要为ingress创建service资源。
。
GitHub上为我们提供了YAML文件：
##我们将其下载到本地：
[root@master ingress-nginx]# wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.28.0/deploy/static/provider/baremetal/service-nodeport.yaml
[root@master ingress-nginx]# cat service-nodeport.yaml #不需要我们做修改，这里只是查看下内容
apiVersion: v1
kind: Service
metadata:
name: ingress-nginx
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
spec:
type: NodePort
ports:
- name: http
port: 80
targetPort: 80
protocol: TCP
- name: https
port: 443
targetPort: 443
protocol: TCP
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
---
//我们创建该service资源对象：
[root@master ingress-nginx]# kubectl create -f service-nodeport.yaml
service/ingress-nginx created
[root@master ingress-nginx]# kubectl get svc -n ingress-nginx
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ingress-nginx NodePort 10.101.206.247 <none> 80:30842/TCP,443:32550/TCP 20s
#可以看到nodeport为我们映射出http和https的随机端口30842/32550。我们通过此端口，就可指定集群中任意一台节点的地址都可以代理后端的应用，即使集群中某一节点宕机也不会影响外部通过域名访问。
##访问apache：
##访问tomcat
。
此时在windows主机中的host文件中，随便绑定集群中的任意节点的ip地址，都是可以进行解析网页的（大家可自己测试）,从而解决了我们之前所担心的问题，相比于之前nodeport方式，证明ingress可以解决不必要的port暴露，只需要映射ingress的端口，就可以代理后端所有的应用，从而满足了我们的需求。
.
三，基于虚拟主机的ingress
搭建虚拟主机的目的：实现以不同的域名访问同一个web界面
本文就仅基于上面的httpd服务，我们为该服务绑定两个不同的域名来访问：
##修改ingress规则文件（完整的yaml配置如下）
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: test-ingress
namespace: ingress-test
annotations:
nginx.ingress.kubernetes.io/rewrite-target: /
spec:
rules:
- host: ingress.test.com
http:
paths:
- path: /
backend:
serviceName: httpd-svc
servicePort: 80
- path: /tomcat
backend:
serviceName: tomcat-svc
servicePort: 8080
- host: ingress.test2.com #只需要在rules字段下添加另一个host字段即可，这里只实现httpd的，如果有需求可以添加上tomcat的。
http:
paths:
- path: /
backend:
serviceName: httpd-svc #注意，serviceName所有虚拟主机必须保持一致
servicePort: 80
//创建新的虚拟主机并查看：
[root@master ingress-nginx]# kubectl apply -f ingress-rule.yaml
ingress.extensions/test-ingress configured
[root@master ingress-nginx]# kubectl get ingresses. -n ingress-test
NAME HOSTS ADDRESS PORTS AGE
test-ingress ingress.test.com,ingress.test2.com 10.101.206.247 80 83m
//通过不同的域名进行访问httpd网页：
因为我们没有搭建dns服务器，所以需要在windows hosts文件将新的域名进行绑定（地址可以绑定集群中任意一台node）：
172.16.1.31 ingress.test.com
172.16.1.32 ingress.test2.com
至此，实现了多个不同域名能够同时访问后端的应用。
.
四，基于HTTPS的Ingress（443端口）
通过部署ingress后，我们不必按照常规的，为后端所有的pod都颁发一个证书，只需为ingress代理的域名颁发证书就能够实现。
1）创建CA证书：
[root@master HTTPS]# openssl req -x509 -sha256 -nodes -days 365 -newkey rsa:2048 -keyout tls.key -out tls.crt -subj "/CN=nginxsvc/O=nginxsvc" #参数可根据需求自定义
Generating a 2048 bit RSA private key
..............................+++
..+++
writing new private key to 'tls.key'
-----
#创建完成后，会在当前目录下生成密钥和证书文件：
[root@master HTTPS]# ls
tls.crt tls.key
2)创建deployment，service，ingress资源:（以nginx服务来实践）
[root@master HTTPS]# vim nginx-ingress2.yaml
#完整的yaml文件内容如下：
apiVersion: extensions/v1beta1 #创建deployment
kind: Deployment
metadata:
name: web
namespace: ingress-test
spec:
template:
metadata:
labels:
name: test-web
spec:
containers:
- name: web
image: 172.16.1.30:5000/nginx:v1 #私有仓库中的镜像（已提供）
---
apiVersion: v1 #创建service，关联上述deployment
kind: Service
metadata:
name: web-svc
namespace: ingress-test
spec:
selector:
name: test-web
ports:
- protocol: TCP
port: 80
targetPort: 80
---
apiVersion: extensions/v1beta1 #创建ingress规则
kind: Ingress
metadata:
name: test-ingress2
namespace: ingress-test
spec:
tls: #为域名颁发证书
- hosts:
- ingress.nginx.com
secretName: tls-secret
rules:
- host: ingress.nginx.com
http: #注意，此处字段为http，不支持https
paths:
- path: /
backend:
serviceName: web-svc
servicePort: 80
##创建基于https的ingress服务（nginx）：
[root@master HTTPS]# kubectl create -f nginx-ingress2.yaml
deployment.extensions/web created
service/web-svc created
ingress.extensions/test-ingress2 created
##查看ingress资源和映射的service端口：
[root@master HTTPS]# kubectl get pod -n ingress-test | grep web
web-74cf864c58-rnvpx 1/1 Running 0 24s
[root@master HTTPS]# kubectl get ingresses. -n ingress-test
NAME HOSTS ADDRESS PORTS AGE
test-ingress ingress.test.com,ingress.test2.com 10.101.206.247 80 127m
test-ingress2 ingress.nginx.com 10.101.206.247 80, 443 5m32s
#可以看到新创建的ingress提供了80和443端口
//查看ingress的service映射的端口
[root@master HTTPS]# kubectl get svc -n ingress-nginx
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ingress-nginx NodePort 10.101.206.247 <none> 80:30842/TCP,443:32550/TCP 86m
3）通过ingress代理的443端口访问nginx服务：
#在hosts文件中绑定域名：
172.16.1.32 ingress.nginx.com
#访问网址：https://ingress.nginx.com:32550/
基于HTTPS的ingress服务成功实现，至此，ingress-nginx部署完成。。。。。。。