集群限制说明

本文描述了 AI 容器服务平台集群与公版 k8s 集群之间的差异。

控制平面不可见

由于核心架构限制，用户无法查看 Master 节点，只能看到 Worker 节点。

% kubectl get nodes     
NAME                  STATUS   ROLES    AGE   VERSION
re-dauudxrcao3ltxag   Ready    <none>   43m   v1.26.15

无法查看系统组件：

• kube-apiserver
• kube-scheduler
• kube-controller-manager
• etcd

% kubectl get namespaces
NAME              STATUS   AGE
default           Active   54m
kube-node-lease   Active   54m
kube-public       Active   54m
kube-system       Active   54m
monitoring        Active   31m


% kubectl get pods -n kube-system
NAME                               READY   STATUS      RESTARTS   AGE
coredns-954b84c47-79vwb            1/1     Running     0          55m
coredns-954b84c47-gl4bc            1/1     Running     0          55m
helm-controller-6b98596f65-j9czk   1/1     Running     0          55m
helm-install-prometheus-6hr87      0/1     Completed   0          24m

Pod 安全策略限制

所有 Pod 强制遵循 baseline 安全策略，无法创建越权的工作负载：

• 禁用 hostNetwork/hostPorts
• 禁止 privileged 特权模式
• 限制 sysctls 内核参数调整

存储与网络资源限制

StorageClass/IngressClass/CSIDriver 等集群级资源仅允许使用预置配置。

• 网络：仅限 nginx Ingress Controller
• 集群自带存储：仅限 longhorn StorageClass，PVC 大小总上限为 100GiB。如开启集群监控，需占用 52 GiB。

注意

AI 容器服务集群支持通过 hostPath 方式挂载租户的共享高性能存储。

节点操作限制

禁用以下指令：

• kubectl delete node
• kubectl top node

Node IP 非真实物理节点 IP，因此无法通过 SSH 访问物理节点。

root@aic-c7ljzcmxyaxh3ust-aicoder-0:~# kubectl get nodes -o wide
NAME                  STATUS   ROLES    AGE   VERSION    INTERNAL-IP     EXTERNAL-IP   OS-IMAGE              KERNEL-VERSION      CONTAINER-RUNTIME
re-day4iarz6zr3wzbo   Ready    <none>   17h   v1.26.15   10.253.105.66   <none>         Ubuntu 22.04.4 LTS   5.15.0-94-generic   containerd://1.7.7-k3s1

监控限制

• /stats/summary 等 kubelet API 关闭
• 推荐使用 AI 容器服务平台网页端集群监控功能。详见集群监控。

开启监控的集群可查看到相关 Pods。

% kubectl get pods -n monitoring
NAME                                                   READY   STATUS    RESTARTS   AGE
prometheus-kube-prometheus-operator-586c7b58bd-hbdmr   1/1     Running   0          24m
prometheus-kube-state-metrics-d4fb5dfdc-2mz7v          1/1     Running   0          24m
prometheus-prometheus-kube-prometheus-prometheus-0     2/2     Running   0          23m

获取当前所在节点的限制

在 AI 容器服务平台中，Pod 内获取节点相关信息的方式与标准 Kubernetes 不同。在 AI 容器服务平台中，spec.nodeName 字段不可用。平台使用特殊的注解来提供节点/资源标识信息。

不支持的用法（标准 K8s）：

- name: NODE_NAME
  valueFrom:
    fieldRef:
      apiVersion: v1
      fieldPath: spec.nodeName  # ❌ 在平台中不可用

支持的用法 1（AI 容器服务平台特殊注解）：

- name: NODE_NAME
  valueFrom:
    fieldRef:
      apiVersion: v1
      fieldPath: metadata.annotations['scheduling.infini-ai.com/quota-name']  # ✅ 平台推荐

支持的用法 2（AI 容器服务平台 downwardAPI）：

apiVersion: v1
kind: Pod
metadata:
  name: test-pod
spec:
  containers:
  - name: myapp
    image: busybox
    command:
    - sleep
    args:
    - infinity
    volumeMounts:
    - name: podinfo
      mountPath: /etc/podinfo
  volumes:
  - name: podinfo
    downwardAPI:
      items:
      - path: "nodeName"
        fieldRef:
          fieldPath: spec.nodeName

适用场景：

• DaemonSet：节点级别的日志收集、监控代理
• StatefulSet：有状态服务的节点亲和性配置
• Job/Deployment：需要节点标识的任务