Przejdź do treści
Biblioteka skilli
DevOps i chmura · Planowanie

gpu-sharing-mig

/gpu-sharing-mig

Pomaga współdzielić jedno GPU między małe zadania przez MIG, MPS lub time slicing i dobrać tryb o izolacji odpowiadającej ryzyku, gdy A100 lub H100 są słabo wykorzystane.

Repozytorium
AI-SKILLS ↗
Licencja
MIT
Ostatnia zmiana repozytorium
05.09.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Pomaga współdzielić jedno GPU między małe zadania przez MIG, MPS lub time slicing i dobrać tryb o izolacji odpowiadającej ryzyku, gdy A100 lub H100 są słabo wykorzystane.

Oryginalny opis (EN)

Share one physical GPU across several small workloads using MIG, MPS, or time slicing, and pick the mode whose isolation matches the risk. Use when GPUs sit at low utilization because each job needs far less than a whole A100 or H100.

Jak działa

  1. Method
  2. Checks
  3. Boundaries
Sekcje z nagłówków SKILL.md, w oryginale · 58 linii, 505 słów
Podgląd SKILL.md
---
name: gpu-sharing-mig
description: Share one physical GPU across several small workloads using MIG, MPS, or time slicing, and pick the mode whose isolation matches the risk. Use when GPUs sit at low utilization because each job needs far less than a whole A100 or H100.
---

# GPU sharing and MIG

A single inference model or a notebook may use 10 percent of an 80GB H100 yet
hold the entire card. Three sharing mechanisms exist, and they are not
interchangeable: each trades isolation for flexibility differently, so the wrong
choice either strands the GPU or lets one tenant crash another. Know what each
one actually guarantees before you split a card.

## Method

1. **Use MIG for hard isolation between tenants.** Multi-Instance GPU partitions
   an A100 or H100 into up to seven instances, each with dedicated SMs, an L2
   slice, and its own memory (profiles like 1g.10gb or 3g.40gb). Faults and
   memory pressure stay inside a slice, and a neighbor's spike does not move
   your latency. Choose MIG when tenants do not trust each other or need a firm
   QoS.
2. **Size the MIG profile to the workload, not evenly.** Profiles are fixed
   geometries: a 1g.10gb slice gives one seventh of the compute and 10GB. A
   model needing 18GB OOMs on a 10GB slice and wastes 22GB on a 40GB one.
   Reconfigure the layout with `nvidia-smi mig` to match the real mix, and note
   that reconfiguration requires draining the GPU first.
3. **Use MPS for cooperative, trusted co-location.** CUDA Multi-Process Service
   lets several processes share SMs concurrently without time-slicing overhead,
   which suits many small kernels from one team's batch jobs. It gives no memory
   protection: one process's OOM or crash can take the others down. Keep it
   inside a single trust boundary.
4. **Use time slicing only for bursty, fault-tolerant work.** The Kubernetes
   device plugin can oversubscribe one GPU to several pods that round-robin the
   whole card. There is no memory isolation and no compute guarantee, so a heavy
   pod stalls the rest. Fine for dev notebooks and CI, wrong for latency-bound
   serving.
5. **Match the mechanism to the SLA.** Serving with a p99 latency target: MIG,
   so a co-tenant cannot steal SMs mid-request. Training microbatches from one
   team: MPS. Interactive dev at a 5 percent duty cycle: time slicing to pack
   many users. Do not run latency-critical inference on time slicing and then
   chase mysterious tail spikes.
6. **Expose the slices to the scheduler correctly.** Advertise MIG instances as
   distinct allocatable resources: the NVIDIA device plugin reports names like
   `nvidia.com/mig-3g.40gb`, so the scheduler places by slice, not whole GPU.
   Confirm with `nvidia-smi` that each pod landed on the instance you intended.

## Checks

- Does each tenant's mechanism match its trust level: MIG across teams, MPS
  within one?
- Do MIG profiles fit the models, with neither OOMs nor tens of gigabytes
  stranded?
- On time slicing, have you accepted that one heavy pod can stall its neighbors?
- Does the scheduler see and place individual MIG slices, not just whole cards?

## Boundaries

This covers splitting one GPU among small jobs. It does nothing for a job that
already saturates a full card, and it is orthogonal to placing whole-GPU jobs
across a cluster (gpu-cluster-scheduling). Whether sharing pays off against
buying fewer, larger cards is a cost question (gpu-cost-planning).

Wersje

W bazie nie ma innych skilli o nazwie gpu-sharing-mig.

Migawka bazy z 13.11.2026 · wersja paczki b9eb96d87274 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 1 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100mig-configure
    Konfiguruje partycje NVIDIA MIG na DGX Station GB300: włączenie trybu MIG, wybór układu profili, tworzenie instancji i pobieranie UUID.
  • 100gpu-accelerator-infrastructure-for-ml-training
    Prowadzi budowę infrastruktury GPU w Kubernetes dla treningu i serwowania ML: NVIDIA GPU Operator, partycjonowanie MIG, pule węzłów GPU i upakowanie zadań bez fragmentacji i pustych kosztów.
  • 90nvidia-gpu-operator-kubernetes-hardening
    Przegląda wdrożenia NVIDIA GPU Operator na Kubernetes: device plugin, MIG manager, etykiety NFD, podział czasu GPU, container toolkit, securityContext, tenancy namespace i polityki admission, pod kątem utwardzania.
  • 100mig-my-turn
    Prowadzi krok po kroku przez czynności, które może wykonać tylko człowiek, na przykład na serwerze, w panelu lub przy DNS.
  • 100runai-get-utilization-overview
    Sprawdza, czy zajęte w Run:ai GPU faktycznie liczą, klasyfikując projekty i działy jako dobrze wykorzystane, niedostatecznie lub bezczynne.
  • 90dgx-station-mig
    Sprawdza stan MIG i profile sterownika na DGX Station GB300, tworzy plan układu z opisem przerw i przywracania oraz stosuje zatwierdzony plan.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.