k8s 常见部署问题

2023年3月20日 221次阅读

查看集群各服务的进程是都在正常运行

kubectl get cs -o wide
kubectl get nodes -o wide
kubectl get svc kubernetes

容器一直在 pendding，node 节点的负载却很低

kube-scheduler 负责调度，查看这个服务的日志

node 节点无法访问 CLUSTER-IP 和 端口不通

看 kube-proxy 的日志，如果出现 “Failed to list *core.Endpoints: endpoints is forbidden: User “system:node:foo” cannot list endpoints at the cluster scope” ，则是 RBAC 的原因。
kube-proxy 没有权限访问 apiserver 的相应接口，导致获取不到 CLUSTER-IP，从而无法配置 iptables 策略导致访问失败。

cat <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: system:kube-nodes
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:node-proxier
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: Group
    name: system:nodes
EOF

kubernets 1.10 完整的 rbac.yaml

---

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:kube-apiserver-to-kubelet
rules:
  - apiGroups:
      - ""
    resources:
      - nodes/proxy
      - nodes/stats
      - nodes/log
      - nodes/spec
      - nodes/metrics
    verbs:
      - "*"

---

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: system:kube-apiserver
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:kube-apiserver-to-kubelet
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: User
    name: kubernetes

---

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: system:kube-nodes
  namespace: ""
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:node-proxier
subjects:
  - apiGroup: rbac.authorization.k8s.io
    kind: Group
    name: system:nodes

flannel E0329 报错

E0329 14:33:39.634406 1 vxlan_network.go:158] failed to add vxlanRoute (10.244.0.0/24 -> 10.244.0.0): invalid argument
其他网卡的 ip 地址设置和 flannel 的网段冲突了。

flannel 或 calico 网络问题：相同主机上的 node 与 pod 互通，跨主机的 node 和 pod 不通，跨主机的 pod 和 pod 不通。其他情况都正常。

原因： 使用了 bridge 模块，导致跨主机不通。删除所有 node 节点的 /etc/cni/net.d/10-bridge.conf 文件，并重启所有 node 系统。

并没有使用 bridge 模块，跨主机网络还是不通

flannel: host-gw 或 vxlan+DirectRouting
calico: 关闭 ipip
kube-router
以上三种网络情况，我也遇到过跨主机网络不通的情况，主机 A ping 主机 B 上的容器，容器有回包，但是只到了主机B，之后就被丢弃了。问题没有直接解决。
绕过的办法：
flannel: vxlan 模式，不要开启 DirectRouting （默认就是这样设置的）
calico: 开启 ipip 模式 （默认就是这样设置的）
cilium：vxlan 模式（默认设置）

calico-node 使用官网推荐的办法无法启动成功，报错提示 Calico node ‘foo’ is already using the IPv4 address 10.244.0.1.

原因：calico-node 检测 ip 地址的时候，判断不准确。 解决方法： 在 calico.yml 中，autodetect 下面增加 IP_AUTODETECTION_METHOD ：

            # Auto-detect the BGP IP address.
            - name: IP
              value: "autodetect"
            - name: IP_AUTODETECTION_METHOD
              value: "can-reach=8.8.8.8"

以下内容可以不加，不加上也不会报错。

            # Set noderef for node controller.
            - name: CALICO_K8S_NODE_REF
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
            - name: NODENAME
              valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName

这个解决方法也是受 https://mritd.me/2017/07/31/calico-yml-bug/ 启发，再各种查资料综合而来。
如果服务器有外网网卡和内网网卡，需要把上面的 8.8.8.8 替换为内网网段的地址。

Flannel 宿主网络

如果宿主机不超过200台的中小规模的集群，尽可能所有宿主机使用相同的vlan，
flannel 使用 vxlan ，并开启 DirectRouting （替代默认的 vxlan )
kube-flannel.yaml 中 增加一行 “DirectRouting”: true,

  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "DirectRouting": true,
        "Type": "vxlan"
      }
    }

Flannel 开启 DirectRouting 后，pod 不通

待解决。目前设置的是 “DirectRouting”: false, 来绕过这个问题。

Calico 网络

如果宿主机不超过200台的中小规模的集群，尽可能所有宿主机使用相同的vlan，
calico 使用 CALICO_IPV4POOL_IPIP 设为 Off （ Off, Always, CrossSubnet ）
对于不同网段的宿主机，再部署一台 RR 节点

IPVS 模式取代 IPTABLES

在大量的 services 时，IPVS 效率显著提升。kube-proxy 的参数设置为

--ipvs-scheduler=wrr --ipvs-min-sync-period=5s --ipvs-sync-period=5s --proxy-mode=ipvs

参考
http://www.lijiaocn.com/%E9%A1%B9%E7%9B%AE/2017/04/11/calico-usage.html#bgp-speaker-rr%E6%A8%A1%E5%BC%8F

点赞