CentOS部署Python Django项目生产环境(centos部署python项目)
517
2022-05-29
一、安装方式介绍
1、yum 安装
目前CentOS官方已经把Kubernetes源放入到自己的默认 extras 仓库里面,使用 yum 安装,好处是简单,坏处也很明显,需要官方更新 yum 源才能获得最新版本的软件,而所有软件的依赖又不能自己指定,尤其是你的操作系统版本如果低的话,使用 yum 源安装的 Kubernetes 的版本也会受到限制,通常会低于官方很多版本,我安装的时候目前官方版本为1.12,而 yum 源中的版本为1.5.2。
请查看博文:http://blog.51cto.com/wzlinux/2321767
2、二进制安装
使用二进制文件安装,好处是可以安装任意版本的 Kubernetes,对一些新版本新功能追求的同学比较合适,坏处是配置比较复杂,很多软件包因为一些原因,我们在大陆是访问不到的。
3、Kubeadm 安装
kubeadm 是 Kubernetes 官方提供的用于快速安装 Kubernetes 集群的工具,伴随Kubernetes每个版本的发布都会同步更新,kubeadm会对集群配置方面的一些实践做调整,通过实验 kubeadm 可以学习到 Kubernetes 官方在集群配置上一些新的最佳实践。
请查看博文:http://blog.51cto.com/wzlinux/2322616
这里我们选用第二种方式安装。
二、环境准备
1、软件版本
我们安装的版本基本是目前最新的版本。
2、节点规划
节点及网络规划如下:
3、系统配置
关闭防火墙。
systemctl stop firewalld systemctl disable firewalld
配置/etc/hosts,添加如下内容。
172.18.8.200 master.wzlinux.com master172.18.8.201 node01.wzlinux.com node01172.18.8.202 node02.wzlinux.com node02
关闭SELinux。
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config setenforce 0
关闭swap。
swapoff -ased -i 's/.*swap.*/#&/' /etc/fstab
4、二进制软件包下载
我们可以下载编译好的二进制文件,也可以下载源码自己编译,这里只讨论二进制的安装方式。在Kubernetes的Github CHANGELOG日志中可以看到最新的版本号,也可以到Tag页面中找到自己需要的版本,我下载的是 v1.12.2。
上传我们下载的二进制软件包到各节点,并解压在root家目录,查看目录内容。
[root@master ~]# ll kubernetes/server/bin/ total 1821524-rwxr-xr-x 1 root root 60859975 Oct 24 15:49 apiextensions-apiserver-rwxr-xr-x 1 root root 142923436 Oct 24 15:49 cloud-controller-manager-rw-r--r-- 1 root root 8 Oct 24 15:44 cloud-controller-manager.docker_tag-rw-r--r-- 1 root root 144309760 Oct 24 15:44 cloud-controller-manager.tar-rwxr-xr-x 1 root root 248021112 Oct 24 15:49 hyperkube-rwxr-xr-x 1 root root 54042644 Oct 24 15:49 kubeadm-rwxr-xr-x 1 root root 192781649 Oct 24 15:49 kube-apiserver-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-apiserver.docker_tag-rw-r--r-- 1 root root 194167808 Oct 24 15:44 kube-apiserver.tar-rwxr-xr-x 1 root root 162961401 Oct 24 15:49 kube-controller-manager-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-controller-manager.docker_tag-rw-r--r-- 1 root root 164347392 Oct 24 15:44 kube-controller-manager.tar-rwxr-xr-x 1 root root 57352138 Oct 24 15:49 kubectl-rwxr-xr-x 1 root root 176648680 Oct 24 15:49 kubelet-rwxr-xr-x 1 root root 50330867 Oct 24 15:49 kube-proxy-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-proxy.docker_tag-rw-r--r-- 1 root root 98355200 Oct 24 15:44 kube-proxy.tar-rwxr-xr-x 1 root root 57184656 Oct 24 15:49 kube-scheduler-rw-r--r-- 1 root root 8 Oct 24 15:44 kube-scheduler.docker_tag-rw-r--r-- 1 root root 58570752 Oct 24 15:44 kube-scheduler.tar-rwxr-xr-x 1 root root 2330265 Oct 24 15:49 mounter
这些包都是存储在google的服务器上面,因为众所周知的原因,我们是无法访问的,所以需要各位科学上网才可以获取,不过我可以把我获取的包传到网盘分享给大家。
大家可以去下载使用。链接: https://pan.baidu.com/s/1Ut9VERgm55B4lmz0wjjzFQ 提取码: mjem
三、安装master
master节点需要安装的服务有kube-apiserver,kube-controller-manager,kube-scheduler,所以我们先把需要的二进制文件放到环境变量。
cd /root/kubernetes/server/bin cp kube-apiserver kube-controller-manager kube-scheduler kubectl /usr/local/bin/
创建需要的目录。
mkdir -p /var/lib/etcdmkdir -p /etc/etcd/mkdir /etc/kubernetesmkdir /etc/kubernetes/ssl
1、安装etcd
因为所以的组件都是需要etcd存储,所以我们第一安装的就是etcd,如果不是为了新版本,为了方便可以使用yum安装。
我这里采用二进制安装方法,首先下载安装包。
下载。
wget https://github.com/etcd-io/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz
解压安装。
tar xf etcd-v3.3.10-linux-amd64.tar.gzcd etcd-v3.3.10-linux-amd64 cp etcd etcdctl /usr/local/bin/
创建system启动文件etcd.service。
cat <
创建配置文件。
cat <
启动etcd。
systemctl daemon-reloadsystemctl start etcd.servicesystemctl enable etcd.service
查看启动状态。
[root@master ~]# netstat -tlnp|grep etcdtcp 0 0 127.0.0.1:2380 0.0.0.0:* LISTEN 1550/etcd tcp6 0 0 :::2379 :::* LISTEN 1550/etcd [root@master ~]# etcdctl cluster-healthmember 8e9e05c52164694d is healthy: got healthy result from http://172.18.8.200:2379cluster is healthy
说明: etcd 会启用两个端口,其中2380 是集群的通信端口,2379是服务端口。如果是配置etcd集群,则要修改配置文件,设置监听IP和端口。
2、安装 kube-apiserver
创建启动文件/usr/lib/systemd/system/kube-apiserver.service,修改为如下内容:
[Unit] Description=Kubernetes API Server Documentation=https://github.com/GoogleCloudPlatform/kubernetes After=network.target After=etcd.service [Service] EnvironmentFile=/etc/kubernetes/apiserver ExecStart=/usr/local/bin/kube-apiserver \ $KUBE_ETCD_SERVERS \ $KUBE_BIND_ADDRESS \ $KUBE_API_PORT \ $KUBE_SERVICE_ADDRESSES \ $KUBE_ADMISSION_CONTROL \ $KUBE_API_ARGS Restart=on-failure Type=notify LimitNOFILE=65536 [Install] WantedBy=multi-user.target
创建目录和配置文件。
cat <
service-cluster-ip-range是servcies的虚拟IP的IP范围,这里可以自己定义,不能当前的宿主机网段重叠。
bind-addres 指定的apiserver监听地址,对应的监听端口是6443,使用的https的方式。
client-ca-file 这是认证的相关文件,这预先定义,后面会创建证书文件,并放置到对应的路径。
3、安装kube-controller-manager
创建启动文件/usr/lib/systemd/system/kube-controller-manager.service,添加如下内容:
[Unit] Description=Kubernetes Controller Manager Documentation=https://github.com/GoogleCloudPlatform/kubernetes After=kube-apiserver.service Requires=kube-apiserver.service [Service] EnvironmentFile=-/etc/kubernetes/controller-manager ExecStart=/usr/local/bin/kube-controller-manager \ $KUBE_MASTER \ $KUBE_CONTROLLER_MANAGER_ARGS Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-user.target
创建配置文件controller-manager,IP根据自己的实际情况进行修改。
cat <
4、安装kube-scheduler
创建启动文件/usr/lib/systemd/system/kube-scheduler.service,添加如下内容:
[Unit] Description=Kubernetes Scheduler Plugin Documentation=https://github.com/GoogleCloudPlatform/kubernetes After=kube-apiserver.service Requires=kube-apiserver.service [Service] EnvironmentFile=/etc/kubernetes/scheduler ExecStart=/usr/local/bin/kube-scheduler \ $KUBE_MASTER \ $KUBE_SCHEDULER_ARGS Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-user.target
创建配置文件/etc/kubernetes/scheduler。
cat <
5、创建kubeconfig文件
创建/etc/kubernetes/kubeconfig文件。
apiVersion: v1kind: Configusers:- name: controllermanager user: client-certificate: /etc/kubernetes/ssl/cs_client.crt client-key: /etc/kubernetes/ssl/cs_client.keyclusters:- name: kubernetes cluster: certificate-authority: /etc/kubernetes/ssl/ca.crtcontexts:- context: cluster: kubernetes user: controllermanager name: service-account-contextcurrent-context: service-account-context
6、创建CA证书
配置kube-apiserver的CA证书和私钥文件。
cd /etc/kubernetes/ssl/ openssl genrsa -out ca.key 2048# CN指定Master的IP地址openssl req -x509 -new -nodes -key ca.key -subj "/CN=172.18.8.200" -days 5000 -out ca.crt openssl genrsa -out server.key 2048
创建master_ssl.cnf文件,内容如下:
[req] req_extensions = v3_req distinguished_name = req_distinguished_name [req_distinguished_name] [ v3_req ] basicConstraints = CA:FALSE keyUsage = nonRepudiation, digitalSignature, keyEncipherment subjectAltName = @alt_names [alt_names] DNS.1 = kubernetes DNS.2 = kubernetes.default DNS.3 = kubernetes.default.svc DNS.4 = kubernetes.default.svc.cluster.local DNS.5 = k8s_master IP.1 = 10.96.0.1 # ClusterIP 地址IP.2 = 172.18.8.200 # master IP地址
基于上述文件,创建server.csr和 server.crt文件,执行如下命令。
# CN指定主机名openssl req -new -key server.key -subj "/CN=master.wzlinux.com" -config master_ssl.cnf -out server.csr openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -days 5000 -extensions v3_req -extfile master_ssl.cnf -out server.crt
设置kube-controller-manager相关证书。
cd /etc/kubernetes/ssl/ openssl genrsa -out cs_client.key 2048# CN指定主机名openssl req -new -key cs_client.key -subj "/CN=master.wzlinux.com" -out cs_client.csr openssl x509 -req -in cs_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out cs_client.crt -days 5000
确保/etc/kubernetes/ssl/ 目录下有如下文件。
[root@master ssl]# lltotal 40-rw-r--r-- 1 root root 1103 Nov 28 21:58 ca.crt-rw-r--r-- 1 root root 1679 Nov 28 21:58 ca.key-rw-r--r-- 1 root root 17 Nov 28 22:07 ca.srl-rw-r--r-- 1 root root 993 Nov 28 22:07 cs_client.crt-rw-r--r-- 1 root root 903 Nov 28 22:07 cs_client.csr-rw-r--r-- 1 root root 1675 Nov 28 22:06 cs_client.key-rw-r--r-- 1 root root 493 Nov 28 22:01 master_ssl.cnf-rw-r--r-- 1 root root 1216 Nov 28 22:03 server.crt-rw-r--r-- 1 root root 1139 Nov 28 22:03 server.csr-rw-r--r-- 1 root root 1679 Nov 28 21:58 server.key
7、启动服务
启动kube-apiserver。
systemctl daemon-reload systemctl enable kube-apiserver systemctl start kube-apiserver
说明:kube-apiserver 默认会启动两个端口(8080和6443),其中,8080是各个组件之间通信的端口,在新的版本中已经很少使用,kube-apiserver所在的主机一般称为Master, 另一个端口6443是为HTTPS提供身份验证和授权的端口。
启动kube-controller-manager。
systemctl daemon-reload systemctl enable kube-controller-manager systemctl start kube-controller-manager
说明:此服务会启动一个10252的端口。
启动kube-scheduler。
systemctl daemon-reload systemctl enable kube-scheduler systemctl start kube-scheduler
说明: 此服务会启动一个10251的端口
启动各项服务时,分别查看对应的日志和启动状态信息,确认服务没有报错。
使用 kubectl 查看状态。
[root@master ~]# kubectl get csNAME STATUS MESSAGE ERROR etcd-0 Healthy {"health":"true"} controller-manager Healthy ok scheduler Healthy ok
四、安装node节点(node01为例)
1、环境准备
node节点需要安装的服务有docker,kubelet,kube-prox,flannel,所以我们先把需要的二进制文件放到环境变量。
cd /root/kubernetes/server/bin/ cp kubelet kube-proxy /usr/local/bin/
加载ipvs内核,使node节点kube-proxy支持ipvs代理规则。
modprobe ip_vs_rr modprobe ip_vs_wrr modprobe ip_vs_sh
创建需要的目录。
mkdir /var/lib/kubeletmkdir /etc/kubernetesmkdir /etc/kubernetes/ssl
配置转发参数。
cat <
2、安装docker-ce
我们使用推荐的版本18.06,此时docker官方的最新版本为18.09,所以我们需要配置官方yum源。
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -P /etc/yum.repos.d/
查看需要安装的版本。
yum list docker-ce.x86_64 --showduplicates |sort -ryum install docker-ce-18.06.1.ce -y
配置加速器。
sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://hdi5v8p1.mirror.aliyuncs.com"] } EOF
2、创建需要的证书
复制Master上的ca.crt,ca.key到node节点上的ssl目录,执行如下命令生成kubelet_client.crt和kubelet_client.csr文件
cd /etc/kubernetes/ssl/ openssl genrsa -out kubelet_client.key 2048# CN指定Node节点的IPopenssl req -new -key kubelet_client.key -subj "/CN=172.18.8.201" -out kubelet_client.csr openssl x509 -req -in kubelet_client.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out kubelet_client.crt -days 5000
3、安装 kube-proxy 服务
创建启动文件/usr/lib/systemd/system/kube-proxy.service,添加如下内容:
[Unit] Description=Kubernetes Kube-Proxy Server Documentation=https://github.com/GoogleCloudPlatform/kubernetes After=network.target [Service] EnvironmentFile=/etc/kubernetes/proxy ExecStart=/usr/local/bin/kube-proxy \ $KUBE_MASTER \ $KUBE_PROXY_ARGS Restart=on-failure LimitNOFILE=65536 [Install] WantedBy=multi-user.target
创建需要的配置文件,IP请根据自己的实际情况进行修改。
cat <
3、安装 kubelete 服务
创建启动文件/usr/lib/systemd/system/kubelet.service,新增如下内容:
[Unit]Description=Kubernetes Kubelet ServerDocumentation=https://github.com/GoogleCloudPlatform/kubernetesAfter=docker.serviceRequires=docker.service[Service]WorkingDirectory=/var/lib/kubeletExecStart=/usr/local/bin/kubelet --kubeconfig=/etc/kubernetes/kubeconfig.yamlRestart=on-failure[Install]WantedBy=multi-user.target
创建配置文件/etc/kubernetes/kubeconfig.yaml,具体参数请根据自己的需求进行修改,新增如下内容:
apiVersion: v1kind: Configusers:- name: kubelet user: client-certificate: /etc/kubernetes/ssl/kubelet_client.crt client-key: /etc/kubernetes/ssl/kubelet_client.keyclusters:- name: kubernetes cluster: certificate-authority: /etc/kubernetes/ssl/ca.crt server: https://172.18.8.200:6443contexts:- context: cluster: kubernetes user: kubelet name: service-account-contextcurrent-context: service-account-context
kubeconfig官方文档请点击查看。
4、启动服务。
启动kubelet。
systemctl daemon-reloadsystemctl start kubelet.servicesystemctl enable kubelet.service
kubelet的配置文件是一个yaml格式文件,对master的指定需要在配置文件中说明。默认监听10248、10250、10255、4194端口。
在master查看节点。
[root@master ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONnode01.wzlinux.com Ready
启动kube-proxy。
systemctl daemon-reloadsystemctl start kube-proxy.servicesystemctl enable kube-proxy.service
说明:启动服务后默认监听10249,10256.
4、配置flannel网络(Pod使用)
我们之所以要单独使用第三方的网络插件来扩展k8s,主要原因是在使用docker的环境中,在每个node节点的docker0默认的网段都是172.17.0.0/16的网络。如果要实现不同宿主node上pod(这里也可以理解为容器)互相通信,就不能使用默认的docker0提供的网段,我们需要部署一个覆盖网络,让每个node节点的docker0网络都处于不同的网段,这样,通过添加一些路由转发策略,就能让集群中各个pod在同一个虚拟的网络中实现通信。
从github官网下载最新版本。
wget https://github.com/coreos/flannel/releases/download/v0.10.0/flannel-v0.10.0-linux-amd64.tar.gz tar xf flannel-v0.10.0-linux-amd64.tar.gz cp flanneld /usr/local/bin/ cp mk-docker-opts.sh /usr/local/libexec/
创建启动文件/usr/lib/systemd/system/flanneld.service,新增如下内容:
[Unit] Description=Flanneld overlay address etcd agent After=network.target After=network-online.target Wants=network-online.target After=etcd.service Before=docker.service [Service] Type=notify EnvironmentFile=/etc/sysconfig/flanneld EnvironmentFile=-/etc/sysconfig/docker-network ExecStart=/usr/local/bin/flanneld \ $FLANNEL_ETCD_ENDPOINTS \ $FLANNEL_ETCD_PREFIX \ $FLANNEL_OPTIONS ExecStartPost=/usr/local/libexec/mk-docker-opts.sh -d /run/flannel/docker Restart=on-failure [Install] WantedBy=multi-user.target RequiredBy=docker.service
对上面的文件做一下解释:
Flannel网络必须在宿主机网络能对外(其它node节点)正常通信的情况下启动才有意义,所以这里定义After=network.target
只有当Flannel 网络启动之后,才能创建一个与其它节点不会冲突的网络,而docker的网络需要和fannel 网络相同才能保证跨主机通信,所以docker必须要在flannel网络创建后才能启动,这里定义Before=docker.service
创建配置文件/etc/sysconfig/flanneld,设置为如下内容:
cat <
在master节点上为 falnnel 创建分配pod的网络。
[root@master ~]# etcdctl mk /atomic.io/network/config '{"Network": "10.244.0.0/16"}'
在各node节点上启动 flannel。
systemctl daemon-reloadsystemctl start flanneld.servicesystemctl enable flanneld.service
检查是否启动好。
ps -ef |grep flanneld
也可以使用自助安装,官方建议的使用方法。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
5、启动docker
编辑文件/usr/lib/systemd/system/docker.service,修改为如下内容,让docker使用flannel网络。
[Unit]Description=Docker Application Container EngineDocumentation=https://docs.docker.comAfter=network-online.target firewalld.service flannel.serviceWants=network-online.targetRequires=flanneld.service[Service]Type=notifyEnvironmentFile=-/run/flannel/dockerExecStart=/usr/bin/dockerd $DOCKER_OPTSExecReload=/bin/kill -s HUP $MAINPIDLimitNOFILE=infinityLimitNPROC=infinityLimitCORE=infinityTimeoutStartSec=0Delegate=yesKillMode=processRestart=on-failureStartLimitBurst=3StartLimitInterval=60s[Install]WantedBy=multi-user.target
我们最后启动docker服务。
systemctl daemon-reloadsystemctl restart docker.servicesystemctl enable docker.service
我们可以看到docker0已经连接到flannel0,并且添加10.244.71.0/24的路由。
[root@node01 ~]# ip rdefault via 172.18.8.1 dev ens33 proto static metric 100 10.244.0.0/16 dev flannel0 proto kernel scope link src 10.244.71.0 10.244.71.0/24 dev docker0 proto kernel scope link src 10.244.71.1 172.18.0.0/16 dev ens33 proto kernel scope link src 172.18.8.201 metric 100
五、master节点验证
[root@master ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONnode01.wzlinux.com Ready
先运行几个pod看一下。
kubectl run nginx --image=nginx --replicas=3
查看一下pod状态,发现容器的状态为ContainerCreating,使用kubectl describe pod POD_NAME发现在请求k8s.gcr.io/pause:3.1pod镜像模板。
因为我们还没有pod基础设施镜像k8s.gcr.io/pause:3.1,就是所有pod的模板,我们需要从gcr.io下载,但是这个地址我们国内是无法访问的,我们可以使用间接的方法,在所有的node节点上,我们可以从阿里云的镜像下载,然后再tag成我们需要的镜像。
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1docker image rm registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
问题解决之后我们再次查看。
[root@master ~]# kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE nginx-dbddb74b8-gzd6j 1/1 Running 0 2m11s 10.244.50.3 node02.wzlinux.com
当前的网络结构图如下所示:
我们可以创建一个service,查看其分配的IP。
[root@master ~]# kubectl expose deploy nginx --port=8888 --target-port=80[root@master ~]# kubectl get svcNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes ClusterIP 10.96.0.1
至此,使用二进制程序搭建的过程我们已经介绍完了。
----------------------------------------
本文转自wzlinux博客51cto博客
K8S Kubernetes
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。