benchmark-model-runtime
/benchmark-model-runtime
Porównuje środowiska uruchomieniowe modeli pod kątem opóźnień, przepustowości, pamięci, energii, czasu ładowania, rozmiaru i stabilności: Core AI, Core ML, MLX, ExecuTorch, PyTorch.
- Autor
- gaelic-ghost ↗
- Repozytorium
- socket ↗
- Licencja
- Apache-2.0
- Ostatnia zmiana repozytorium
- 26.08.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 3
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 26.08.2026, bez odwołań do wycofanych modeli i API.
Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.
Co robi i kiedy
Porównuje środowiska uruchomieniowe modeli pod kątem opóźnień, przepustowości, pamięci, energii, czasu ładowania, rozmiaru i stabilności: Core AI, Core ML, MLX, ExecuTorch, PyTorch.
Oryginalny opis (EN)
Benchmark model runtimes across latency, throughput, memory, energy, load time, size, and stability. Use when comparing Core AI, Core ML, MLX, ExecuTorch, PyTorch, quantization, devices, or packaging.
Jak działa
- Define A Fair Workload
- Workflow
- Apple Runtime Checks
- References
Podgląd SKILL.md
--- name: benchmark-model-runtime description: Benchmark model runtimes across latency, throughput, memory, energy, load time, size, and stability. Use when comparing Core AI, Core ML, MLX, ExecuTorch, PyTorch, quantization, devices, or packaging. --- # Benchmark Model Runtime ## Define A Fair Workload Pin the exact model artifact, tokenizer/template, runtime and version, device and OS, precision, cache policy, batch size, prompt-length buckets, generated-token target, sampling settings, and measurement tool. Compare numerical or behavioral parity before performance. ## Workflow 1. Verify each artifact produces acceptable outputs on the same small parity set. 2. Separate cold load, warm load, prompt processing, time to first token, decode throughput, and end-to-end latency. 3. Measure peak and steady memory; include model, cache, runtime, and process overhead consistently. 4. Stabilize device power, charging, background load, and thermal state. Record deviations instead of silently rerunning only slow samples. 5. Warm up separately, then run enough measured repetitions to report median and tail percentiles. 6. Sweep representative prompt lengths, output lengths, and batch/concurrency levels. 7. Record failures, fallback execution, recompilation, memory pressure, and thermal throttling. 8. Measure energy with an appropriate system tool when the decision depends on battery or sustained deployment. 9. Retain raw samples and summarize them with units, sample counts, and uncertainty. ## Apple Runtime Checks - Confirm delegated operator coverage and fallback behavior rather than assuming the named backend ran the whole graph. - Distinguish compilation/conversion time from load and inference time. - For stateful generation, include key-value cache initialization, update, and memory growth. - Treat ExecuTorch MLX results as revision-specific while the upstream backend remains experimental. ## References Use `references/runtime-benchmarking.md` for metric definitions and reporting requirements.
Pliki w paczce (3)
- SKILL.md 2 KB
- agents/openai.yaml 1 KB
- references/runtime-benchmarking.md 1 KB
Wersje
W bazie nie ma innych skilli o nazwie benchmark-model-runtime.
Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.
Migawka bazy z 13.11.2026 · wersja paczki b34a89e7a038 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 90choose-apple-model-runtime
Porównuje i wybiera runtime modeli na Apple: Core AI, Core ML, MLX, MLX Swift, MLX LM, delegaty ExecuTorch lub Foundation Models, wraz z przekazaniem do implementacji. - 100binary-size
Analizuje i zmniejsza rozmiar binariów ExecuTorch, przy badaniu rozmiaru, testach rozmiaru i optymalizacji środowiska uruchomieniowego pod urządzenia o ograniczonych zasobach. - 100edge-ai
Wdraża wytrenowane modele na sprzęcie brzegowym: eksport do ONNX lub LiteRT, kwantyzację int8, dobór runtime i pomiar opóźnień oraz zużycia energii. - 100executorch-kb
Przeszukuje bazę wiedzy ExecuTorch o backendach QNN, XNNPACK, Vulkan, CoreML, Arm i Cadence, recepturach kwantyzacji, pułapkach eksportu, błędach runtime i zgodności SoC. - 100pytorch-model-trainer
Prawdopodobnie buduje i uruchamia trening modeli w PyTorch w ramach uczenia maszynowego. - 100mlenergy-data
Odpowiada na pytania o benchmark ML.ENERGY, czyli pomiary energii, opóźnień i przepustowości wnioskowania LLM i modeli dyfuzyjnych na GPU, toolkitem Pythona mlenergy-data.