使用 DRA 将设备分配给工作负载

功能状态: Kubernetes v1.35 [稳定](默认启用)

此页面向您展示如何使用动态资源分配 (DRA) 将设备分配给您的 Pod。这些说明适用于工作负载操作员。在阅读此页面之前,请熟悉 DRA 的工作原理以及 DRA 术语,例如 ResourceClaimsResourceClaimTemplates。有关更多信息,请参阅 动态资源分配 (DRA)

关于使用 DRA 进行设备分配

作为工作负载操作员,您可以通过创建 ResourceClaims 或 ResourceClaimTemplates 来声明工作负载的设备。当您部署工作负载时,Kubernetes 和设备驱动程序会查找可用的设备,将它们分配给您的 Pod,并将 Pod 放置在可以访问这些设备的节点上。

开始之前

您需要一个 Kubernetes 集群,并且 kubectl 命令行工具必须配置为与您的集群通信。建议在至少有两个非控制平面主机的节点上运行此教程。如果您还没有集群,可以使用 minikube 创建一个,或者可以使用以下 Kubernetes 游乐场之一

您的 Kubernetes 服务器必须是 v1.34 或更高版本。

要检查版本,请输入 kubectl version

  • 确保您的集群管理员已设置 DRA、附加设备并安装驱动程序。有关更多信息,请参阅 在集群中设置 DRA

识别要声明的设备

您的集群管理员或设备驱动程序创建DeviceClasses,定义设备类别。您可以使用 Common Expression Language 筛选特定的设备属性来声明设备。

获取集群中的 DeviceClasses 列表

kubectl get deviceclasses

输出类似于以下内容

NAME                 AGE
driver.example.com   16m

如果您收到权限错误,您可能没有访问 DeviceClasses 的权限。请咨询您的集群管理员或驱动程序提供程序以获取可用的设备属性。

声明资源

您可以使用 ResourceClaims 从 DeviceClass 请求资源。要创建 ResourceClaim,请执行以下操作之一

  • 如果希望多个 Pod 共享对相同设备的访问权限,或者希望声明在 Pod 生命周期之外存在,则手动创建 ResourceClaim。
  • 使用 ResourceClaimTemplate 让 Kubernetes 生成和管理每个 Pod 的 ResourceClaims。如果希望每个 Pod 访问具有相似配置的单独设备,请创建 ResourceClaimTemplate。例如,您可能希望 Pod 在使用 并行执行 的 Job 中同时访问设备。

如果直接在 Pod 中引用特定的 ResourceClaim,则该 ResourceClaim 必须已经存在于集群中。如果引用的 ResourceClaim 不存在,Pod 将保持挂起状态,直到创建 ResourceClaim。您可以引用自动生成的 ResourceClaim,但不建议这样做,因为自动生成的 ResourceClaim 绑定到触发生成的 Pod 的生命周期。

要创建声明资源的 workload,请选择以下选项之一

查看以下示例清单

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: example-resource-claim-template
spec:
  spec:
    devices:
      requests:
      - name: gpu-claim
        exactly:
          deviceClassName: example-device-class
          selectors:
            - cel:
                expression: |-
                  device.attributes["driver.example.com"].type == "gpu" &&
                  device.capacity["driver.example.com"].memory == quantity("64Gi")                  

此清单创建一个 ResourceClaimTemplate,请求 example-device-class DeviceClass 中的设备,这些设备同时满足以下参数

  • 设备具有 driver.example.com/type 属性,其值为 gpu
  • 设备具有 64Gi 的容量。

要创建 ResourceClaimTemplate,请运行以下命令

kubectl apply -f https://k8s.io/examples/dra/resourceclaimtemplate.yaml

查看以下示例清单

apiVersion: resource.k8s.io/v1
kind: ResourceClaim
metadata:
  name: example-resource-claim
spec:
  devices:
    requests:
    - name: single-gpu-claim
      exactly:
        deviceClassName: example-device-class
        allocationMode: All
        selectors:
        - cel:
            expression: |-
              device.attributes["driver.example.com"].type == "gpu" &&
              device.capacity["driver.example.com"].memory == quantity("64Gi")              

此清单创建一个 ResourceClaim,请求 example-device-class DeviceClass 中的设备,这些设备同时满足以下参数

  • 设备具有 driver.example.com/type 属性,其值为 gpu
  • 设备具有 64Gi 的容量。

要创建 ResourceClaim,请运行以下命令

kubectl apply -f https://k8s.io/examples/dra/resourceclaim.yaml

使用 DRA 在 workload 中请求设备

要请求设备分配,请在 Pod 规范的 resourceClaims 字段中指定 ResourceClaim 或 ResourceClaimTemplate。然后在 Pod 中某个容器的 resources.claims 字段中按名称请求特定的声明。您可以在 resourceClaims 字段中指定多个条目,并在不同的容器中使用特定的声明。

  1. 查看以下示例 Job

    apiVersion: batch/v1
    kind: Job
    metadata:
      name: example-dra-job
    spec:
      completions: 10
      parallelism: 2
      template:
        spec:
          restartPolicy: Never
          containers:
          - name: container0
            image: ubuntu:24.04
            command: ["sleep", "9999"]
            resources:
              claims:
              - name: separate-gpu-claim
          - name: container1
            image: ubuntu:24.04
            command: ["sleep", "9999"]
            resources:
              claims:
              - name: shared-gpu-claim
          - name: container2
            image: ubuntu:24.04
            command: ["sleep", "9999"]
            resources:
              claims:
              - name: shared-gpu-claim
          resourceClaims:
          - name: separate-gpu-claim
            resourceClaimTemplateName: example-resource-claim-template
          - name: shared-gpu-claim
            resourceClaimName: example-resource-claim
    

    此 Job 中的每个 Pod 具有以下属性

    • 使名为 separate-gpu-claim 的 ResourceClaimTemplate 和名为 shared-gpu-claim 的 ResourceClaim 可用于容器。
    • 运行以下容器
      • container0 请求来自 separate-gpu-claim ResourceClaimTemplate 的设备。
      • container1container2 共享对来自 shared-gpu-claim ResourceClaim 的设备的访问权限。
  2. 创建 Job

    kubectl apply -f https://k8s.io/examples/dra/dra-example-job.yaml
    

尝试以下故障排除步骤

  1. 当 workload 启动不正常时,从 Job 到 Pod 到 ResourceClaims 逐步向下钻取,并使用 kubectl describe 检查每个级别的对象,以查看是否有任何状态字段或事件可能解释为什么 workload 未启动。
  2. 如果 Pod 创建失败并显示 must specify one of: resourceClaimName, resourceClaimTemplateName,请检查 pod.spec.resourceClaims 中的所有条目是否都设置了其中一个字段。如果设置了,则可能是集群安装了一个基于 Kubernetes < 1.32 的 API 构建的 mutating Pod webhook。与您的集群管理员合作检查此问题。

清理

要删除在此任务中创建的 Kubernetes 对象,请执行以下步骤

  1. 删除示例 Job

    kubectl delete -f https://k8s.io/examples/dra/dra-example-job.yaml
    
  2. 要删除您的资源声明,请运行以下命令之一

    • 删除 ResourceClaimTemplate

      kubectl delete -f https://k8s.io/examples/dra/resourceclaimtemplate.yaml
      
    • 删除 ResourceClaim

      kubectl delete -f https://k8s.io/examples/dra/resourceclaim.yaml
      

接下来

最后修改时间:2025 年 7 月 02 日 下午 6:43 PST:DRA:1.34 版本核心更新 (36162b1107)