Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

benchmark-model-runtime

/benchmark-model-runtime

Porównuje środowiska uruchomieniowe modeli pod kątem opóźnień, przepustowości, pamięci, energii, czasu ładowania, rozmiaru i stabilności: Core AI, Core ML, MLX, ExecuTorch, PyTorch.

Repozytorium
socket ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
26.08.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
3
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Porównuje środowiska uruchomieniowe modeli pod kątem opóźnień, przepustowości, pamięci, energii, czasu ładowania, rozmiaru i stabilności: Core AI, Core ML, MLX, ExecuTorch, PyTorch.

Oryginalny opis (EN)

Benchmark model runtimes across latency, throughput, memory, energy, load time, size, and stability. Use when comparing Core AI, Core ML, MLX, ExecuTorch, PyTorch, quantization, devices, or packaging.

Jak działa

  1. Define A Fair Workload
  2. Workflow
  3. Apple Runtime Checks
  4. References
Sekcje z nagłówków SKILL.md, w oryginale · 30 linii, 239 słów
Podgląd SKILL.md
---
name: benchmark-model-runtime
description: Benchmark model runtimes across latency, throughput, memory, energy, load time, size, and stability. Use when comparing Core AI, Core ML, MLX, ExecuTorch, PyTorch, quantization, devices, or packaging.
---

# Benchmark Model Runtime

## Define A Fair Workload

Pin the exact model artifact, tokenizer/template, runtime and version, device and OS, precision, cache policy, batch size, prompt-length buckets, generated-token target, sampling settings, and measurement tool. Compare numerical or behavioral parity before performance.

## Workflow

1. Verify each artifact produces acceptable outputs on the same small parity set.
2. Separate cold load, warm load, prompt processing, time to first token, decode throughput, and end-to-end latency.
3. Measure peak and steady memory; include model, cache, runtime, and process overhead consistently.
4. Stabilize device power, charging, background load, and thermal state. Record deviations instead of silently rerunning only slow samples.
5. Warm up separately, then run enough measured repetitions to report median and tail percentiles.
6. Sweep representative prompt lengths, output lengths, and batch/concurrency levels.
7. Record failures, fallback execution, recompilation, memory pressure, and thermal throttling.
8. Measure energy with an appropriate system tool when the decision depends on battery or sustained deployment.
9. Retain raw samples and summarize them with units, sample counts, and uncertainty.

## Apple Runtime Checks

- Confirm delegated operator coverage and fallback behavior rather than assuming the named backend ran the whole graph.
- Distinguish compilation/conversion time from load and inference time.
- For stateful generation, include key-value cache initialization, update, and memory growth.
- Treat ExecuTorch MLX results as revision-specific while the upstream backend remains experimental.

## References

Use `references/runtime-benchmarking.md` for metric definitions and reporting requirements.
Pliki w paczce (3)
  • SKILL.md 2 KB
  • agents/openai.yaml 1 KB
  • references/runtime-benchmarking.md 1 KB

Wersje

W bazie nie ma innych skilli o nazwie benchmark-model-runtime.

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki b34a89e7a038 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90choose-apple-model-runtime
    Porównuje i wybiera runtime modeli na Apple: Core AI, Core ML, MLX, MLX Swift, MLX LM, delegaty ExecuTorch lub Foundation Models, wraz z przekazaniem do implementacji.
  • 100binary-size
    Analizuje i zmniejsza rozmiar binariów ExecuTorch, przy badaniu rozmiaru, testach rozmiaru i optymalizacji środowiska uruchomieniowego pod urządzenia o ograniczonych zasobach.
  • 100edge-ai
    Wdraża wytrenowane modele na sprzęcie brzegowym: eksport do ONNX lub LiteRT, kwantyzację int8, dobór runtime i pomiar opóźnień oraz zużycia energii.
  • 100executorch-kb
    Przeszukuje bazę wiedzy ExecuTorch o backendach QNN, XNNPACK, Vulkan, CoreML, Arm i Cadence, recepturach kwantyzacji, pułapkach eksportu, błędach runtime i zgodności SoC.
  • 100pytorch-model-trainer
    Prawdopodobnie buduje i uruchamia trening modeli w PyTorch w ramach uczenia maszynowego.
  • 100mlenergy-data
    Odpowiada na pytania o benchmark ML.ENERGY, czyli pomiary energii, opóźnień i przepustowości wnioskowania LLM i modeli dyfuzyjnych na GPU, toolkitem Pythona mlenergy-data.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.