Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

inference-server

/inference-server

Uruchamia i testuje serwer inferencji prime-rl oparty na vLLM, aby sprawdzić działanie modelu.

Repozytorium
prime-rl ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
14.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
1
Przestarzałość

Brak sygnałów. Repozytorium zmienione 14.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Uruchamia i testuje serwer inferencji prime-rl oparty na vLLM, aby sprawdzić działanie modelu.

Oryginalny opis (EN)

Start and test the prime-rl inference server. Use when asked to run inference, start vLLM, test a model, or launch the inference server.

Jak działa

  1. Starting the server
  2. SLURM scheduling
  3. Custom endpoints
  4. Testing the server
  5. Key files
Sekcje z nagłówków SKILL.md, w oryginale · 106 linii, 327 słów
Podgląd SKILL.md
---
name: inference-server
description: Start and test the prime-rl inference server. Use when asked to run inference, start vLLM, test a model, or launch the inference server.
---

# Inference Server

## Starting the server

Always use the `inference` entry point — never `vllm serve` or `python -m vllm.entrypoints.openai.api_server` directly. The entry point runs `setup_vllm_env()` which configures environment variables (LoRA, multiprocessing) before vLLM is imported.

```bash
# With a TOML config
uv run inference @ path/to/config.toml

# With CLI overrides
uv run inference --model.name Qwen/Qwen3-0.6B --model.max_model_len 2048 --model.enforce_eager

# Combined
uv run inference @ path/to/config.toml --server.port 8001 --gpu-memory-utilization 0.5
```

## SLURM scheduling

The inference entrypoint supports optional SLURM scheduling, following the same patterns as SFT and RL.

### Single-node SLURM

```toml
# inference_slurm.toml
output_dir = "/shared/outputs/my-inference"

[model]
name = "Qwen/Qwen3-8B"

[parallel]
tp = 8

[slurm]
job_name = "my-inference"
partition = "cluster"
```

```bash
uv run inference @ inference_slurm.toml
```

### Multi-node SLURM (independent vLLM replicas)

Each node runs an independent vLLM instance. No cross-node parallelism — TP and DP must fit within a single node's GPUs.

```toml
# inference_multinode.toml
output_dir = "/shared/outputs/my-inference"

[model]
name = "PrimeIntellect/INTELLECT-3-RL-600"

[parallel]
tp = 8
dp = 1

[deployment]
type = "multi_node"
num_nodes = 4
gpus_per_node = 8

[slurm]
job_name = "my-inference"
partition = "cluster"
```

### Dry run

Add `dry_run = true` to generate the sbatch script without submitting:

```bash
uv run inference @ config.toml --dry-run true
```

## Custom endpoints

The server extends vLLM with:

- `/v1/chat/completions/tokens` — accepts token IDs as prompt input (used by multi-turn RL rollouts)
- `/update_weights` — hot-reload model weights from the trainer
- `/load_lora_adapter` — load LoRA adapters at runtime
- `/init_broadcaster` — initialize weight broadcast for distributed training

## Testing the server

```bash
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-0.6B",
    "messages": [{"role": "user", "content": "Hi"}],
    "max_tokens": 50
  }'
```

## Key files

- `src/prime_rl/entrypoints/inference.py` — entrypoint with local/SLURM routing
- `src/prime_rl/inference/server.py` — vLLM env setup
- `src/prime_rl/configs/inference.py` — `InferenceConfig` and all sub-configs
- `src/prime_rl/inference/vllm/server.py` — FastAPI routes and vLLM monkey-patches
- `src/prime_rl/templates/inference.sbatch.j2` — SLURM template (handles both single and multi-node)
- `configs/debug/infer.toml` — minimal debug config

Wersje

W bazie nie ma innych skilli o nazwie inference-server.

Migawka bazy z 13.11.2026 · wersja paczki 04e876695d2d (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100vllm-setup
    Wdraża serwer inferencji vLLM na NVIDIA DGX Station GB300 ze sprawdzonym kontenerem, wyborem GPU i parametrami strojenia, z API zgodnym z OpenAI.
  • 100vllm
    Podaje referencję API Pythona vLLM v0.19.0: generowanie wsadowe, czat, embeddingi, wyjścia strukturalne, LoRA i serwer zgodny z OpenAI.
  • 100nvidia-nemoclaw-user-configure-inference
    Łączy NemoClaw z lokalnym serwerem inferencji (Ollama, vLLM, TensorRT-LLM, NIM lub dowolnym serwerem zgodnym z OpenAI) oraz zmienia model i środowisko inferencji.
  • 90tt-vllm-serving-review
    Przegląda ścieżkę serwowania vLLM i tt-inference-server: kontrakty generator_vllm.py, rejestrację wtyczki i konwencje gałęzi i konfiguracji.
  • 100ollama-inference-test
    Testuje i mierzy wydajność lokalnej inferencji Ollama: sprawdza status i dostępność modeli, uruchamia testy generowania i klasyfikacji oraz mierzy czas odpowiedzi.
  • 100debug-inference
    Diagnozuje klientów inferencji korzystających z dołączonego dostawcy i jego natywnego endpointu, w tym hostowane API oraz lokalne Ollama, vLLM, SGLang, TRT-LLM, LM Studio i NIM.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.