使用 DRA 将设备分配给工作负载
Kubernetes v1.35 [稳定](默认启用)此页面向您展示如何使用动态资源分配 (DRA) 将设备分配给您的 Pod。这些说明适用于工作负载操作员。在阅读此页面之前,请熟悉 DRA 的工作原理以及 DRA 术语,例如 ResourceClaims 和 ResourceClaimTemplates。有关更多信息,请参阅 动态资源分配 (DRA)。
关于使用 DRA 进行设备分配
作为工作负载操作员,您可以通过创建 ResourceClaims 或 ResourceClaimTemplates 来声明工作负载的设备。当您部署工作负载时,Kubernetes 和设备驱动程序会查找可用的设备,将它们分配给您的 Pod,并将 Pod 放置在可以访问这些设备的节点上。
开始之前
您需要一个 Kubernetes 集群,并且 kubectl 命令行工具必须配置为与您的集群通信。建议在至少有两个非控制平面主机的节点上运行此教程。如果您还没有集群,可以使用 minikube 创建一个,或者可以使用以下 Kubernetes 游乐场之一
您的 Kubernetes 服务器必须是 v1.34 或更高版本。要检查版本,请输入 kubectl version。
- 确保您的集群管理员已设置 DRA、附加设备并安装驱动程序。有关更多信息,请参阅 在集群中设置 DRA。
识别要声明的设备
您的集群管理员或设备驱动程序创建DeviceClasses,定义设备类别。您可以使用 Common Expression Language 筛选特定的设备属性来声明设备。
获取集群中的 DeviceClasses 列表
kubectl get deviceclasses
输出类似于以下内容
NAME AGE
driver.example.com 16m
如果您收到权限错误,您可能没有访问 DeviceClasses 的权限。请咨询您的集群管理员或驱动程序提供程序以获取可用的设备属性。
声明资源
您可以使用 ResourceClaims 从 DeviceClass 请求资源。要创建 ResourceClaim,请执行以下操作之一
- 如果希望多个 Pod 共享对相同设备的访问权限,或者希望声明在 Pod 生命周期之外存在,则手动创建 ResourceClaim。
- 使用 ResourceClaimTemplate 让 Kubernetes 生成和管理每个 Pod 的 ResourceClaims。如果希望每个 Pod 访问具有相似配置的单独设备,请创建 ResourceClaimTemplate。例如,您可能希望 Pod 在使用 并行执行 的 Job 中同时访问设备。
如果直接在 Pod 中引用特定的 ResourceClaim,则该 ResourceClaim 必须已经存在于集群中。如果引用的 ResourceClaim 不存在,Pod 将保持挂起状态,直到创建 ResourceClaim。您可以引用自动生成的 ResourceClaim,但不建议这样做,因为自动生成的 ResourceClaim 绑定到触发生成的 Pod 的生命周期。
要创建声明资源的 workload,请选择以下选项之一
查看以下示例清单
apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
name: example-resource-claim-template
spec:
spec:
devices:
requests:
- name: gpu-claim
exactly:
deviceClassName: example-device-class
selectors:
- cel:
expression: |-
device.attributes["driver.example.com"].type == "gpu" &&
device.capacity["driver.example.com"].memory == quantity("64Gi")
此清单创建一个 ResourceClaimTemplate,请求 example-device-class DeviceClass 中的设备,这些设备同时满足以下参数
- 设备具有
driver.example.com/type属性,其值为gpu。 - 设备具有
64Gi的容量。
要创建 ResourceClaimTemplate,请运行以下命令
kubectl apply -f https://k8s.io/examples/dra/resourceclaimtemplate.yaml
查看以下示例清单
apiVersion: resource.k8s.io/v1
kind: ResourceClaim
metadata:
name: example-resource-claim
spec:
devices:
requests:
- name: single-gpu-claim
exactly:
deviceClassName: example-device-class
allocationMode: All
selectors:
- cel:
expression: |-
device.attributes["driver.example.com"].type == "gpu" &&
device.capacity["driver.example.com"].memory == quantity("64Gi")
此清单创建一个 ResourceClaim,请求 example-device-class DeviceClass 中的设备,这些设备同时满足以下参数
- 设备具有
driver.example.com/type属性,其值为gpu。 - 设备具有
64Gi的容量。
要创建 ResourceClaim,请运行以下命令
kubectl apply -f https://k8s.io/examples/dra/resourceclaim.yaml
使用 DRA 在 workload 中请求设备
要请求设备分配,请在 Pod 规范的 resourceClaims 字段中指定 ResourceClaim 或 ResourceClaimTemplate。然后在 Pod 中某个容器的 resources.claims 字段中按名称请求特定的声明。您可以在 resourceClaims 字段中指定多个条目,并在不同的容器中使用特定的声明。
查看以下示例 Job
apiVersion: batch/v1 kind: Job metadata: name: example-dra-job spec: completions: 10 parallelism: 2 template: spec: restartPolicy: Never containers: - name: container0 image: ubuntu:24.04 command: ["sleep", "9999"] resources: claims: - name: separate-gpu-claim - name: container1 image: ubuntu:24.04 command: ["sleep", "9999"] resources: claims: - name: shared-gpu-claim - name: container2 image: ubuntu:24.04 command: ["sleep", "9999"] resources: claims: - name: shared-gpu-claim resourceClaims: - name: separate-gpu-claim resourceClaimTemplateName: example-resource-claim-template - name: shared-gpu-claim resourceClaimName: example-resource-claim此 Job 中的每个 Pod 具有以下属性
- 使名为
separate-gpu-claim的 ResourceClaimTemplate 和名为shared-gpu-claim的 ResourceClaim 可用于容器。 - 运行以下容器
container0请求来自separate-gpu-claimResourceClaimTemplate 的设备。container1和container2共享对来自shared-gpu-claimResourceClaim 的设备的访问权限。
- 使名为
创建 Job
kubectl apply -f https://k8s.io/examples/dra/dra-example-job.yaml
尝试以下故障排除步骤
- 当 workload 启动不正常时,从 Job 到 Pod 到 ResourceClaims 逐步向下钻取,并使用
kubectl describe检查每个级别的对象,以查看是否有任何状态字段或事件可能解释为什么 workload 未启动。 - 如果 Pod 创建失败并显示
must specify one of: resourceClaimName, resourceClaimTemplateName,请检查pod.spec.resourceClaims中的所有条目是否都设置了其中一个字段。如果设置了,则可能是集群安装了一个基于 Kubernetes < 1.32 的 API 构建的 mutating Pod webhook。与您的集群管理员合作检查此问题。
清理
要删除在此任务中创建的 Kubernetes 对象,请执行以下步骤
删除示例 Job
kubectl delete -f https://k8s.io/examples/dra/dra-example-job.yaml要删除您的资源声明,请运行以下命令之一
删除 ResourceClaimTemplate
kubectl delete -f https://k8s.io/examples/dra/resourceclaimtemplate.yaml删除 ResourceClaim
kubectl delete -f https://k8s.io/examples/dra/resourceclaim.yaml