FinOps 云成本优化：AI 计算时代的工程实践

一、当 AI 算力账单成为 CTO 的噩梦

2024 年初，某 AI 创业公司的 CTO 收到了一份月度云账单：单月 GPU 计算支出突破 120 万美元。这不是因为业务爆发式增长，而是因为基础设施团队在 K8s 集群中部署了 Llama-2-70B 推理服务，却忘记限制 HPA 的最大副本数——一个周末凌晨的流量波动导致推理 Pod 自动扩展到 64 个副本。

这不是孤例。根据 Datadog 2024 年云支出报告的统计：

• 平均 30% 的云资源处于闲置或低利用率状态
• AI/ML 工作负载的云支出年增长率超过 150%
• 超过 45% 的企业没有建立有效的成本分配和标签策略

FinOps（Financial Operations）正是在这一背景下，从 AWS 的最佳实践逐步演化为一套完整的工程方法论。它不是简单的"省钱"，而是将技术决策与业务价值对齐的系统性工程。

二、FinOps 的核心框架：从标签到问责

2.1 成本可见性的第一原则：标签即代码

没有有效的标签体系，成本优化就是盲人摸象。在生产实践中，标签策略需要覆盖以下维度：

apiVersion: v1
kind: Namespace
metadata:
  name: ml-inference-prod
  labels:
    team: ml-platform
    environment: production
    cost-center: ai-research
    project: llm-serving
    criticality: tier-1
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: triton-inference-server
spec:
  template:
    metadata:
      labels:
        app: triton-inference
        model: llama-3-70b
        team: ml-platform
        cost-center: ai-research
    spec:
      containers:
      - name: triton
        resources:
          requests:
            nvidia.com/gpu: 2
            memory: 64Gi
            cpu: 16
          limits:
            nvidia.com/gpu: 2
            memory: 128Gi
            cpu: 32

关键原则：标签策略必须在 Pod 准入阶段强制执行。通过 OPA Gatekeeper 或 Kyverno，确保未携带合规标签的工作负载无法调度和运行。

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: require-cost-labels
spec:
  validationFailureAction: Enforce
  rules:
  - name: check-cost-labels
    match:
      resources:
        kinds:
        - Pod
    validate:
      message: "必须包含 team、cost-center、environment 标签"
      pattern:
        metadata:
          labels:
            team: "?*"
            cost-center: "?*"
            environment: "production | staging | dev"

2.2 实时成本监控：OpenCost 深度集成

OpenCost 是 CNCF 沙箱项目，提供 Kubernetes 原生的成本分配能力。其架构基于 Prometheus 时序数据，能够在秒级延迟内提供成本视图。

helm install opencost opencost/opencost \
  --namespace opencost \
  --create-namespace \
  --set opencost.prometheus.internal.enabled=true \
  --set opencost.exporter.defaultClusterId=production-us-east-1 \
  --set opencost.ui.enabled=true

opencost:
  exporter:
    pricingConfigMapName: custom-pricing
  customPricing:
    enabled: true
    CPU: 0.018
    GPU: 2.800
    RAM: 0.0023
    storage: 0.00015

三、AI 推理工作负载的成本优化实战

3.1 GPU 共享与时间切片：从 40% 到 85% 利用率

A100 80GB 在 AWS p4d 实例上的价格约为 $32.77/小时。典型的 LLM 推理部署（如 vLLM 或 Triton）在单模请求处理时，GPU 利用率通常在 15%-40% 之间。

GPU 时分复用（Time Slicing）是最直接的优化手段：

apiVersion: v1
kind: ConfigMap
metadata:
  name: nvidia-device-plugin-config
  namespace: kube-system
data:
  config: |
    version: v1
    sharing:
      timeSlicing:
        renameByDefault: false
        resources:
        - name: nvidia.com/gpu
          replicas: 4

关键权衡分析：Time Slicing 适用于推理（Inference）而非训练。推理请求对延迟有明确上限（通常 P99