深入理解Kubernetes Pod调度机制：从源码到生产实战

3. 亲和性与反亲和性实战

3.1 Node Affinity（节点亲和性）

节点亲和性让 Pod 吸引到特定节点。两种模式：

# requiredDuringSchedulingIgnoredDuringExecution —— 硬性要求
affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
      - matchExpressions:
        - key: node-role
          operator: In
          values: ["gpu-worker"]

# preferredDuringSchedulingIgnoredDuringExecution —— 软性偏好
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 80
      preference:
        matchExpressions:
        - key: disktype
          operator: In
          values: ["ssd"]

3.2 Pod Affinity/AntiAffinity（Pod 间亲和与反亲和）

Pod 间亲和性使 Pod 倾向于调度到已运行特定 Pod 的节点，反亲和性则倾向于避开。典型场景：

# 反亲和性 —— 将同一应用的多副本分散在不同节点
affinity:
  podAntiAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
    - labelSelector:
        matchExpressions:
        - key: app
          operator: In
          values: ["web-frontend"]
      topologyKey: kubernetes.io/hostname

注意：Pod 亲和性/反亲和性会带来调度性能开销，大规模集群中建议谨慎使用 required 模式。

4. 生产调度优化策略

4.1 拓扑分布约束 TopologySpreadConstraints

K8s 1.19+ 引入的 TopologySpreadConstraints 是实现高可用部署的最佳实践：

topologySpreadConstraints:
- maxSkew: 2
  topologyKey: topology.kubernetes.io/zone
  whenUnsatisfiable: ScheduleAnyway
  labelSelector:
    matchLabels:
      app: payment-service

该配置确保 payment-service 在各可用区之间的副本数差异不超过 2，即使无法满足也不会阻止调度（ScheduleAnyway），避免因单区故障导致无法部署。

4.2 优先级与抢占

设置 PriorityClass 控制 Pod 被调度的顺序，当集群资源不足时高优先级 Pod 可抢占低优先级 Pod 的资源：

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: production-critical
value: 1000000
preemptionPolicy: PreemptLowerPriority
globalDefault: false
description: "生产核心服务最高优先级"

4.3 资源请求与限制的最佳实践

• 设置合理的 requests：调度器依据 requests 做决策，通常设为 P50 资源使用量
• limits 保持适度：limits 过高会导致资源浪费，过低可能触发 OOM Kill
• Burstable 策略：非关键服务的 limits 可设为 requests 的 1.5-2 倍，允许弹性使用资源
• Guaranteed QoS：关键服务设置 requests=limits，获得最高服务质量等级

4.4 调度器性能调优

大规模集群（5000+ 节点）中调度器可能成为瓶颈，关键配置：

# kube-scheduler 参数
--percent-of-nodes-to-score=30   # 打分阶段只评估部分节点（默认50%）
--bind-timeout=600ms              # 绑定超时时间

# 高级调度配置
apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: default-scheduler
  pluginConfig:
  - name: NodeResourcesFit
    args:
      scoringStrategy:
        type: RequestedToCapacityRatio
        requestedToCapacityRatio:
          shape:
          - utilization: 0
            score: 0
          - utilization: 50
            score: 6
          - utilization: 100
            score: 10

5. 自定义调度器开发

当默认调度器无法满足特殊需求时（如 GPU 亲和调度、数据本地性定制），可以基于 Scheduling Framework 开发自定义扩展点插件。

最小化自定义调度器示例（Go）：

package main

import (
    "context"
    v1 "k8s.io/api/core/v1"
    "k8s.io/kubernetes/pkg/scheduler/framework"
)

type CustomScheduler struct{}

func (cs *CustomScheduler) Name() string { return "custom-scheduler" }

func (cs *CustomScheduler) Filter(ctx context.Context, state *framework.CycleState, pod *v1.Pod, nodeInfo *framework.NodeInfo) *framework.Status {
    // 自定义过滤逻辑：仅允许带有 custom-allow=true 标签的节点
    if nodeInfo.Node().Labels["scheduler-hint"] != "enabled" {
        return framework.NewStatus(framework.Unschedulable, "node does not have required label")
    }
    return nil
}

func (cs *CustomScheduler) Score(ctx context.Context, state *framework.CycleState, pod *p1.Pod, nodeName string) (int64, *framework.Status) {
    // 基于自定义指标打分
    return calculateCustomScore(pod, nodeName), nil
}

6. 总结与展望

Kubernetes 调度器经过多年演进，已从简单的 nodeName/nodeSelector 发展为高度可扩展的调度框架。理解调度机制的核心原理，是构建稳定高效容器平台的基础。

随着云原生生态的发展，调度器也在持续进化：Kueue 项目带来了更高级的批处理能力，Dynamic Resource Allocation 为 GPU 等扩展资源提供了灵活分配方案，Cluster Autoscaler 与调度器的协同让集群具备了弹性伸缩能力。掌握这些机制，将帮助你在生产环境中构建更健壮、高效的云原生基础设施。