Skills Agentes

Gke Batch Hpc

Ejecuta cargas batch y HPC en GKE usando colas de trabajos y procesamiento paralelo; no usar para despliegues de aplicaciones web estándar (usar gke-app-onboarding).

Oficial

Reemplaza a: gke-app-onboarding (para despliegues de apps web estándar)

Estrellas
20.2k

en todo el repo

Actividad
50

0–100, la ruta de este skill

Actualizado
hace 4 meses

último commit aquí

Commits
2

últimos 90 días

Contexto
1.4k tok

63 tok en reposo

Paquete
1 archivo

6 KB

Instalar

Funciona con cualquier agente que lea SKILL.md

npx -y skills add google/skills --skill gke-batch-hpc --agent claude-code

Se instala solo en este repositorio.

Este skill makes network requests.

Qué hace

  • Configura Kubernetes Jobs, JobSets y colas Kueue para procesamiento batch en GKE
  • Establece node pools con COMPACT placement para redes de baja latencia en HPC
  • Configura MPIJobs con el MPI Operator para cargas de trabajo MPI
  • Aplica Spot VMs y scale-to-zero para optimizar costes en batch/HPC

Úsalo cuando

  • Ejecución de pipelines de procesamiento de datos batch
  • Simulaciones HPC (CFD, dinámica molecular, modelado financiero)
  • Computación paralela a gran escala (MPI, MapReduce)
  • Trabajos de entrenamiento ML o granjas de build CI/CD

No lo uses cuando

  • Despliegues de aplicaciones web estándar (usar gke-app-onboarding en su lugar)

Qué lo activa

Di cualquiera de estas frases y el agente debería cargar este skill.

  • “Configura una cola Kueue para mis jobs batch en GKE”
  • “Necesito desplegar un MPIJob para una simulación HPC en GKE”
  • “Crea un node pool con placement compacto para cargas HPC”
  • “Cómo hago que mis jobs batch usen Spot VMs con fallback”

SKILL.md

En inglés

GKE Batch & HPC Workloads

This reference covers running batch processing and high-performance computing (HPC) workloads on GKE.

MCP Tools: apply_k8s_manifest, get_k8s_resource, describe_k8s_resource, get_k8s_logs, delete_k8s_resource, list_k8s_events

When to Use

  • Running batch data processing pipelines
  • HPC simulations (CFD, molecular dynamics, financial modeling)
  • Large-scale parallel computation (MPI, MapReduce)
  • ML training jobs
  • CI/CD build farms

Batch Processing on GKE

Kubernetes Jobs

apiVersion: batch/v1
kind: Job
metadata:
  name: batch-job
spec:
  parallelism: 10
  completions: 100
  backoffLimit: 3
  template:
    spec:
      containers:
      - name: worker
        image: <IMAGE>
        resources:
          requests:
            cpu: "1"
            memory: "2Gi"
      restartPolicy: Never

JobSet (for Complex Multi-Job Workflows)

The golden path enables JobSet monitoring (JOBSET in monitoringConfig).

apiVersion: jobset.x-k8s.io/v1alpha2
kind: JobSet
metadata:
  name: training-job
spec:
  replicatedJobs:
  - name: workers
    replicas: 4
    template:
      spec:
        parallelism: 1
        completions: 1
        template:
          spec:
            containers:
            - name: worker
              image: <IMAGE>
              resources:
                requests:
                  cpu: "4"
                  memory: "8Gi"

Kueue (Job Queuing)

Kueue manages job scheduling and resource allocation for batch workloads:

# Install Kueue
kubectl apply --server-side -f https://github.com/kubernetes-sigs/kueue/releases/latest/download/manifests.yaml
# Define a ClusterQueue
apiVersion: kueue.x-k8s.io/v1beta1
kind: ClusterQueue
metadata:
  name: batch-queue
spec:
  namespaceSelector: {}
  resourceGroups:
  - coveredResources: ["cpu", "memory"]
    flavors:
    - name: default
      resources:
      - name: "cpu"
        nominalQuota: 100
      - name: "memory"
        nominalQuota: "200Gi"
---
# Allow a namespace to use the queue
apiVersion: kueue.x-k8s.io/v1beta1
kind: LocalQueue
metadata:
  name: batch-local
  namespace: batch-jobs
spec:
  clusterQueue: batch-queue

HPC on GKE

Compact Placement (Low-Latency Networking)

For tightly-coupled HPC workloads that need low-latency inter-node communication:

# Standard clusters: create node pool with compact placement
gcloud container node-pools create hpc-pool \
  --cluster <CLUSTER_NAME> --region <REGION> \
  --machine-type c3-standard-44 \
  --placement-type COMPACT \
  --num-nodes 8 \
  --enable-autoscaling --min-nodes 0 --max-nodes 16 \
  --quiet

MPI Workloads

Use the MPI Operator for MPI-based HPC applications:

# Install MPI Operator
kubectl apply -f https://raw.githubusercontent.com/kubeflow/mpi-operator/master/deploy/v2beta1/mpi-operator.yaml
apiVersion: kubeflow.org/v2beta1
kind: MPIJob
metadata:
  name: hpc-simulation
spec:
  slotsPerWorker: 4
  mpiReplicaSpecs:
    Launcher:
      replicas: 1
      template:
        spec:
          containers:
          - name: launcher
            image: <MPI_IMAGE>
            command: ["mpirun", "-np", "32", "./simulation"]
            resources:
              requests:
                cpu: "1"
                memory: "2Gi"
              limits:
                cpu: "2"
                memory: "4Gi"
    Worker:
      replicas: 8
      template:
        spec:
          containers:
          - name: worker
            image: <MPI_IMAGE>
            resources:
              requests:
                cpu: "4"
                memory: "8Gi"
              limits:
                cpu: "8"
                memory: "16Gi"

Cost Optimization for Batch/HPC

Spot VMs for Batch

Batch workloads are ideal Spot VM candidates (interruptible, can checkpoint). Use a ComputeClass with Spot-first priority and activeMigration to return to Spot when available. See the gke-compute-classes skill for the Spot-with-fallback pattern.

Scale-to-Zero

For batch clusters, allow node pools to scale to zero when no jobs are running:

  • Autopilot (golden path): Automatic, nodes scale to zero when no pods are scheduled
  • Standard: Set --min-nodes 0 on batch node pools

Best Practices & Production Guidelines

  • Resource Quotas: Always specify resource requests and limits (CPU, memory, and optionally GPU/TPU) for all batch/HPC manifests. This is critical for Kueue admission, autoscaling, and preventing resource starvation in the cluster.
  • TPU/Spot Cluster Maintenance: For long-running AI training runs on Spot VMs/TPUs, advise using GKE maintenance exclusions to block automatic cluster upgrades/reboots during the active training window to minimize unnecessary preemption.
  • MPI Workloads: Use the Kubeflow Training Operator to orchestrate distributed MPI applications via the MPIJob custom resource.
  • Kueue & JobSet: Use Kueue for multi-tenant job queueing and fair sharing; use JobSet for multi-component tightly coupled workloads.
  • Resilience: Always set a backoffLimit on Jobs, and implement application-level checkpointing (e.g., using Orbax or PyTorch checkpointing) to survive Spot VM preemption.

Reproducido de google/skills bajo licencia Apache-2.0. Leer esta página en markdown.

Archivos

1 archivo en el paquete. Solo se lee SKILL.md al activarse — las referencias se cargan si el skill decide que las necesita.

Antes de instalar

Requiere acceso a un cluster GKE y, según el caso, instalar Kueue, JobSet o el MPI Operator.

Necesita en el PATH:gcloudkubectl

Detalles

Creador
google
Licencia
Apache-2.0
Recursos incluidos
Solo SKILL.md
Repositorio
google/skills
Código fuente
Ver SKILL.md

Etiquetas

Más de google/skills

Este repo incluye 131 skills. Si instalas uno, normalmente ya tienes los demás. Ver el pack skills entero y su comando de instalación

Configura políticas de alerta de buenas prácticas para agentes de IA usando métricas OpenTelemetry (OTel), generando la salida como archivos de configuración Terraform (.tf).

Costo de contexto al activarse
4.2k tok
Tamaño del paquete
28 archivos
Última actualización
hace 2 meses
Oficialdevops infraestructura

Descubre requisitos de forma interactiva y diseña arquitecturas de solución multiproducto, planos de solución y recomendaciones de despliegue para cargas de trabajo complejas en Google Cloud.

Costo de contexto al activarse
3.4k tok
Tamaño del paquete
5 archivos
Última actualización
hace 2 meses
Oficialdevops infraestructura

Gestiona la provisión de clústeres GKE, credenciales, elección entre Autopilot y Standard, y despliegue de workloads en Google Kubernetes Engine.

Costo de contexto al activarse
914 tok
Tamaño del paquete
6 archivos
Última actualización
hace 3 meses
Oficialdevops infraestructura

Gestiona y orquesta prompts en Agent Platform: crear, listar, recuperar, versionar o eliminar prompts gestionados; no sirve para entrenamiento ni despliegue de modelos.

Costo de contexto al activarse
2.2k tok
Tamaño del paquete
2 archivos
Última actualización
hace 2 meses
Oficialaprendizaje

Ajuste fino de modelos en Agent Platform: para afinar modelos abiertos o Gemini. No usar para entrenar fuera de Agent Platform, desplegar a endpoints o gestionar endpoints de serving.

Costo de contexto al activarse
6.4k tok
Tamaño del paquete
12 archivos
Última actualización
hace 2 meses
Oficialaprendizaje

Planifica, ejecuta y valida actualizaciones y mantenimiento de clusters de Google Kubernetes Engine (GKE), tanto Standard como Autopilot, con planes, checklists y runbooks con comandos gcloud.

Costo de contexto al activarse
5k tok
Tamaño del paquete
4 archivos
Última actualización
hace 2 meses
Oficialdevops infraestructura

Skills relacionados

Configura políticas de alerta de buenas prácticas para agentes de IA usando métricas OpenTelemetry (OTel), generando la salida como archivos de configuración Terraform (.tf).

Costo de contexto al activarse
4.2k tok
Tamaño del paquete
28 archivos
Última actualización
hace 2 meses
Oficialdevops infraestructura

Despliega modelos abiertos o pesos personalizados de Model Garden a endpoints de Agent Platform, revisa el estado de un despliegue en curso, o limpia recursos retirando modelos y borrando endpoints.

Costo de contexto al activarse
5.1k tok
Tamaño del paquete
5 archivos
Última actualización
hace 2 meses
Oficialdevops infraestructura

Gestiona serving endpoints de Agent Platform: crear, listar, describir, actualizar o eliminar endpoints, y resolver errores de permisos, cuota o recursos ocupados. No sirve para desplegar modelos ni ejecutar evaluaciones.

Costo de contexto al activarse
1.5k tok
Tamaño del paquete
1 archivo
Última actualización
hace 3 meses
Oficialdevops infraestructura