工资群发助手在哪里(工资群发助手收费的吗)
903
2022-05-29
写在前面
学习K8s,所以整理记忆
部分内容来源于:
《Kubernetes权威指南:从Docker到Kubernetes实践全接触》第四版.第十一章
一切时代的艺术都在努力为我们内心那神圣的无声的欲望提供语言。 ——赫尔曼·黑塞《彼得·卡门青》
因为没有具体的Demo,所以文章有些空,类似于一些指导思想,读着乏味,这里先列出干货:一些查问题的网站,关于内容之后有机会在补充相关的案例,如果解决问题,时间紧张的小伙伴还是针对问题描述下面的平台里找找
Kubernetes集群中常见问题的排查方法
为了跟踪和发现在Kubernetes集群中运行的容器应用出现的问题,我们常用如下查错方法。
查看Kubernetes对象的当前运行时信息,特别是与对象关联的Event事件。这些事件记录了相关主题、发生时间、最近发生时间、发生次数及事件原因等,对排查故障非常有价值。通过查看对象的运行时数据,我们还可以发现参数错误、关联错误、状态异常等明显问题。由于在Kubernetes中多种对象相互关联,因此这一步可能会涉及多·个相关对象的排查问题。
对于服务、容器方面的问题,可能需要深入容器内部进行故障诊断,此时可以通过查看容器的运行日志来定位具体问题。
对于某些复杂问题,例如Pod调度这种全局性的问题,可能需要结合集群中每个节点上的Kubernetes服务日志来排查。比如搜集Master上的kube-apiserver, kube-schedule, kube-controler-manager服务日志,以及各个Node上的kubelet, kube-proxy服务日志.
查看系统Event
在Kubernetes集群中创建Pod后,我们可以通过kubectl get pods命令查看Pod列表,但通过该命令显示的信息有限。Kubernetes提供了kubectl describe pod命令来查看一个Pod的详细信息,例如:
通过kubectl describe pod命令,可以显示Pod创建时的配置定义、状态等信息,还可以显示与该Pod相关的最近的Event事件,事件信息对于查错非常有用。
如果某个Pod一直处于Pending状态,我们就可以通过kubectl describe了解具体的原因:
没有可用的Node以供调度,可能原因为pod端口冲突,或者受Taints影响,。
开启了资源配额管理,但在当前调度的目标节点上资源不足。
镜像下载失败等。
查看pod详细信息
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl describe pods etcd-vms81.liruilongs.github.io -n kube-system # pod创建的基本信息 Name: etcd-vms81.liruilongs.github.io Namespace: kube-system Priority: 2000001000 Priority Class Name: system-node-critical Node: vms81.liruilongs.github.io/192.168.26.81 Start Time: Tue, 25 Jan 2022 21:54:20 +0800 Labels: component=etcd tier=control-plane Annotations: kubeadm.kubernetes.io/etcd.advertise-client-urls: https://192.168.26.81:2379 kubernetes.io/config.hash: 1502584f9ab841720212d4341d723ba2 kubernetes.io/config.mirror: 1502584f9ab841720212d4341d723ba2 kubernetes.io/config.seen: 2021-12-13T00:01:04.834825537+08:00 kubernetes.io/config.source: file seccomp.security.alpha.kubernetes.io/pod: runtime/default Status: Running # Node当前的运行状态, IP: 192.168.26.81 IPs: IP: 192.168.26.81 Controlled By: Node/vms81.liruilongs.github.io Containers: etcd: # pod的一些基础信息 Container ID: docker://20d99a98a4c2590e8726916932790200ba1cf93c48f3c84ca1298ffdcaa4f28a Image: registry.aliyuncs.com/google_containers/etcd:3.5.0-0 Image ID: docker-pullable://registry.aliyuncs.com/google_containers/etcd@sha256:9ce33ba33d8e738a5b85ed50b5080ac746deceed4a7496c550927a7a19ca3b6d Port:
查看集群中的Node节点和节点的详细信息
[root@liruilong k8s]# kubectl get nodes NAME STATUS AGE 127.0.0.1 Ready 2d [root@liruilong k8s]# kubectl describe node 127.0.0.1 # Node基本信息:名称、标签、创建时间等。 Name: 127.0.0.1 Role: Labels: beta.kubernetes.io/arch=amd64 beta.kubernetes.io/os=linux kubernetes.io/hostname=127.0.0.1 Taints:
查看容器日志
在需要排查容器内部应用程序生成的日志时,我们可以使用kubectl logs
这里打印etcd数据库的日志信息,查看日志中异常的相关信息,这里用过过滤error关键字的方法来查看相关的信息
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl logs etcd-vms81.liruilongs.github.io -n kube-system | grep -i error | head -5 {"level":"info","ts":"2022-01-25T13:54:33.191Z","caller":"wal/repair.go:96","msg":"repaired","path":"/var/lib/etcd/member/wal/0000000000000014-0000000000185aba.wal","error":"unexpected EOF"} {"level":"info","ts":"2022-01-25T13:54:33.192Z","caller":"etcdserver/storage.go:109","msg":"repaired WAL","error":"unexpected EOF"} {"level":"warn","ts":"2022-01-25T13:54:33.884Z","caller":"embed/config_logging.go:169","msg":"rejected connection","remote-addr":"127.0.0.1:53950","server-name":"","error":"EOF"} {"level":"warn","ts":"2022-01-25T13:54:33.885Z","caller":"embed/config_logging.go:169","msg":"rejected connection","remote-addr":"127.0.0.1:53948","server-name":"","error":"EOF"} {"level":"warn","ts":"2022-01-28T03:00:37.549Z","caller":"etcdserver/util.go:166","msg":"apply request took too long","took":"628.230855ms","expected-duration":"100ms","prefix":"read-only range ","request":"key:\"/registry/runtimeclasses/\" range_end:\"/registry/runtimeclasses0\" count_only:true ","response":"","error":"context canceled"} ┌──[root@vms81.liruilongs.github.io]-[~] └─$
查看Kubernetes服务日志
如果在Linux系统上安装Kubernetes,并且使用systemd系统管理Kubernetes服务,那么systemd的journal系统会接管服务程序的输出日志。在这种环境中,可以通过使用systemd status或journalct具来查看系统服务的日志。例如:
查看服务服务启动的相关信息,通过这个,可以定位服务加载的配置文件信息,启动参数配置情况
┌──[root@vms81.liruilongs.github.io]-[~] └─$systemctl status kubelet.service -l ● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled) Drop-In: /usr/lib/systemd/system/kubelet.service.d └─10-kubeadm.conf Active: active (running) since 二 2022-01-25 21:53:35 CST; 6 days ago Docs: https://kubernetes.io/docs/ Main PID: 1014 (kubelet) Memory: 208.2M CGroup: /system.slice/kubelet.service └─1014 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --config=/var/lib/kubelet/config.yaml --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.5 2月 01 17:47:14 vms81.liruilongs.github.io kubelet[1014]: W0201 17:47:14.258523 1014 container.go:586] Failed to update stats for container "/kubepods.slice/kubepods-burstable.slice/kubepods-burstable-pode1b874bfdef201d69db10b200b8f47d5.slice/docker-c20fa960cfebd38172e123a5d87ecd499518bf22381f7aaa62d57131e7eb1aae.scope": unable to determine device info for dir: /var/lib/docker/overlay2/07d7695f2c479fbd0b654016345fcbacd0838276fb57f8291f993ed6799fae8d/diff: stat failed on /var/lib/docker/overlay2/07d7695f2c479fbd0b654016345fcbacd0838276fb57f8291f993ed6799fae8d/diff with error: no such file or directory, continuing to push stats 。。。。。。。。。。
通过 journalct来查看相关的服务日志信息,查看当前用户下的kubelet服务日志中有error关键字的字段的报错问题
┌──[root@vms81.liruilongs.github.io]-[~] └─$journalctl -u kubelet.service | grep -i error | head -2 1月 25 21:53:55 vms81.liruilongs.github.io kubelet[1014]: I0125 21:53:55.865441 1014 docker_service.go:264] "Docker Info" dockerInfo=&{ID:HN3K:C6LG:QGV7:N2CG:VELF:CJ6T:HFR5:EEKH:HLPO:CDEU:GN3E:QAJJ Containers:32 ContainersRunning:11 ContainersPaused:0 ContainersStopped:21 Images:32 Driver:overlay2 DriverStatus:[[Backing Filesystem xfs] [Supports d_type true] [Native Overlay Diff true] [userxattr false]] SystemStatus:[] Plugins:{Volume:[local] Network:[bridge host ipvlan macvlan null overlay] Authorization:[] Log:[awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog]} MemoryLimit:true SwapLimit:true KernelMemory:true KernelMemoryTCP:true CPUCfsPeriod:true CPUCfsQuota:true CPUShares:true CPUSet:true PidsLimit:true IPv4Forwarding:true BridgeNfIptables:true BridgeNfIP6tables:true Debug:false NFd:26 OomKillDisable:true NGoroutines:39 SystemTime:2022-01-25T21:53:55.833509372+08:00 LoggingDriver:json-file CgroupDriver:systemd CgroupVersion:1 NEventsListener:0 KernelVersion:3.10.0-693.el7.x86_64 OperatingSystem:CentOS Linux 7 (Core) OSVersion:7 OSType:linux Architecture:x86_64 IndexServerAddress:https://index.docker.io/v1/ RegistryConfig:0xc000a8f960 NCPU:2 MemTotal:4126896128 GenericResources:[] DockerRootDir:/var/lib/docker HTTPProxy: HTTPSProxy: NoProxy: Name:vms81.liruilongs.github.io Labels:[] ExperimentalBuild:false ServerVersion:20.10.9 ClusterStore: ClusterAdvertise: Runtimes:map[io.containerd.runc.v2:{Path:runc Args:[] Shim:
如果不使用systemd系统接管Kubernetes服务的标准输出,则也可以通过日志相关的启动参数来指定日志的存放目录。当然,这里的相关启动参数的配置信息需要通过查看pod文件来查看
查看kube-controller-manager的启动参数和认证相关的配置文件
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl describe pod kube-controller-manager-vms81.liruilongs.github.io -n kube-system | grep -i -A 20 command Command: kube-controller-manager --allocate-node-cidrs=true --authentication-kubeconfig=/etc/kubernetes/controller-manager.conf --authorization-kubeconfig=/etc/kubernetes/controller-manager.conf --bind-address=127.0.0.1 --client-ca-file=/etc/kubernetes/pki/ca.crt --cluster-cidr=10.244.0.0/16 --cluster-name=kubernetes --cluster-signing-cert-file=/etc/kubernetes/pki/ca.crt --cluster-signing-key-file=/etc/kubernetes/pki/ca.key --controllers=*,bootstrapsigner,tokencleaner --kubeconfig=/etc/kubernetes/controller-manager.conf --leader-elect=true --port=0 --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt --root-ca-file=/etc/kubernetes/pki/ca.crt --service-account-private-key-file=/etc/kubernetes/pki/sa.key --service-cluster-ip-range=10.96.0.0/12 --use-service-account-credentials=true State: Running
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl describe pod kube-controller-manager-vms81.liruilongs.github.io -n kube-system | grep kubeconfig --authentication-kubeconfig=/etc/kubernetes/controller-manager.conf --authorization-kubeconfig=/etc/kubernetes/controller-manager.conf --kubeconfig=/etc/kubernetes/controller-manager.conf /etc/kubernetes/controller-manager.conf from kubeconfig (ro) kubeconfig:
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl describe pod kube-controller-manager-vms81.liruilongs.github.io -n kube-system | grep -i -A 20 Volumes Volumes: ca-certs: Type: HostPath (bare host directory volume) Path: /etc/ssl/certs HostPathType: DirectoryOrCreate etc-pki: Type: HostPath (bare host directory volume) Path: /etc/pki HostPathType: DirectoryOrCreate flexvolume-dir: Type: HostPath (bare host directory volume) Path: /usr/libexec/kubernetes/kubelet-plugins/volume/exec HostPathType: DirectoryOrCreate k8s-certs: Type: HostPath (bare host directory volume) Path: /etc/kubernetes/pki HostPathType: DirectoryOrCreate kubeconfig: Type: HostPath (bare host directory volume) Path: /etc/kubernetes/controller-manager.conf HostPathType: FileOrCreate ┌──[root@vms81.liruilongs.github.io]-[~] └─$
Pod资源对象相关的问题
,比如无法创建Pod, Pod启动后就停止或者Pod副本无法增加,等等。此时,可以先确定Pod在哪个节点上,然后登录这个节点,从kubelet的日志中查询该Pod的完整日志,然后进行问题排查。
对于与Pod扩容相关或者与RC相关的问题
,则很可能在kube-controller-manager及kube-scheduler的日志中找出问题的关键点。
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl logs kube-scheduler-vms81.liruilongs.github.io ┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl logs kube-controller-manager-vms81.liruilongs.github.io
kube-proxy经常被我们忽视,因为即使它意外停止
, Pod的状态也是正常的,但会导致某些服务访问异常。这些错误通常与每个节点上的kube-proxy服务有着密切的关系。遇到这些问题时,首先要排查kube-proxy服务的日志,同时排查防火墙服务,要特别留意在防火墙中是否有人为添加的可疑规则。
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl logs kube-proxy-tbwz5
常见问题
在Kubernetes集群中应尽量使用服务名访问正在运行的微服务,但有时会访问失败。由于服务涉及服务名的DNS域名解析、kube-proxy组件的负载分发、后端Pod列表的状态等,所以可通过以下几方面排查问题。
1.查看Service的后端Endpoint是否正常
可以通过kubectl get endpoints
┌──[root@vms81.liruilongs.github.io]-[~] └─$kubectl get svc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kube-dns ClusterIP 10.96.0.10
Service的Label Selector与Pod的Label不匹配,沒有相关的pod可以提供能力
后端Pod一直没有达到Ready状态(通过kubectl get pods进一步查看Pod的状态)
Service的targetPort端口号与Pod的containerPort不一致等
。即容器暴露的端口不是SVC暴露的端口,需要使用targetPort来转发
2·查看Service的名称能否被正确解析为ClusterIP地址
可以通过在客户端容器中ping
3·查看kube-proxy的转发规则是否正确
我们可以将kube-proxy服务设置为IPVS或iptables负载分发模式。
对于IPVS负载分发模式,可以通过ipvsadm工具查看Node上的IPVS规则,查看是否正确设置Service ClusterlP的相关规则。
对于iptables负载分发模式,可以通过查看Node上的iptables规则,查看是否正确设置Service ClusterlP的相关规则。
寻求帮助
Kubernetes 容器
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。