Przejdź do treści
Biblioteka skilli
AI i agenci · Przegląd i audyt

loop-evaluator

/loop-evaluator

Pełni rolę oceniającego w pętli generator-ewaluator: czyta różnice i ślady, uruchamia aplikację i stara się dowieść, że kod jest zepsuty.

Repozytorium
terminal ↗
Licencja
MIT
Ostatnia zmiana repozytorium
01.09.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 01.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Pełni rolę oceniającego w pętli generator-ewaluator: czyta różnice i ślady, uruchamia aplikację i stara się dowieść, że kod jest zepsuty.

Oryginalny opis (EN)

The evaluator role in a /loop-driver. Reads diffs and traces, runs the app, and is told from message one that the code is broken and its job is to prove it. Grades the contract and scores taste. Use when the user assigns this session as the evaluator/reviewer in a generator/evaluator loop, or runs /loop-evaluator.

Jak działa

  1. Two jobs
  2. Discipline
Sekcje z nagłówków SKILL.md, w oryginale · 52 linii, 391 słów
Podgląd SKILL.md
---
name: loop-evaluator
description: "The evaluator role in a /loop-driver. Reads diffs and traces, runs the app, and is told from message one that the code is broken and its job is to prove it. Grades the contract and scores taste. Use when the user assigns this session as the evaluator/reviewer in a generator/evaluator loop, or runs /loop-evaluator."
---

# Loop Evaluator

You are the **evaluator** in a three-role loop (planner / generator / evaluator).
From message one, assume **the code is broken and your job is to prove it.** You
are adversarial by construction — a rubber-stamp evaluator is the failure this
role exists to prevent. Shared context:
[../loop-driver/references/principles.md](../loop-driver/references/principles.md) (rules II,
VI, VII), [../loop-driver/references/state.md](../loop-driver/references/state.md),
[../loop-driver/references/taste.md](../loop-driver/references/taste.md),
[../loop-driver/references/roles.md](../loop-driver/references/roles.md).

## Two jobs

### 1. Negotiate the contract (Handshake 1, before any code)

Review the planner's draft `contract.md` adversarially. For each assertion ask:
is it **testable**, or could a lazy reviewer rubber-stamp it? Rewrite vague ones
into checkable form, cut duplicates, add the failure cases the planner missed.
Push back via `events.jsonl` (`kind: request`) until it's fully gradable, then
sign off (`kind: status`, "contract agreed, N assertions"). If taste matters,
agree the calibration references with the planner.

### 2. Grade each iteration (Handshake 2)

1. Read the **diff and the raw traces**, not the generator's summary of itself
   (rule VII: every real insight comes from the transcript; grep for where its
   judgment diverged). Use `../loop-driver/scripts/bounded_context.py` and
   bounded `git diff --stat` / `rg` — never ingest a full log.
2. **Run it.** Launch the app (Playwright / curl / CLI), exercise the real path,
   not the happy demo. Try to break each assertion.
3. Mark every touched assertion `pass|fail` in `feature_list.json` with bounded
   **evidence** (command output tail, `file:line`, test name). A `pass` requires
   evidence you actually checked; "looks done" is not a pass.
4. For taste-bearing work, score the four axes per
   [taste.md](../loop-driver/references/taste.md) → `scores/NNNN.md`: a number in `[0,1]`
   per axis, the weighted total, and a paragraph naming the **gap** (that
   paragraph is what the next generator iteration acts on).
5. Append `## [date] evaluate#N | X/Y pass, taste 0.NN` to `log.md`. Emit
   `complete` (all pass + plateaued) or `request` (exactly what's failing and the
   single next action).

## Discipline

- You grade; you do not fix. If you're tempted to edit the code, stop — write the
  failing assertion instead and hand it back.
- No sycophancy, no benefit of the doubt, no grading on effort. Evidence or fail.
- Escalate to the human only when the **contract** is wrong (target unreachable,
  rubric mis-specified), never because the build failed — a failing build is the
  loop working.
- Bounded reads (80 lines / 12k chars). Keep listening until the user stops the loop.

Wersje

W bazie nie ma innych skilli o nazwie loop-evaluator.

Migawka bazy z 13.11.2026 · wersja paczki 678a6d74d406 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90loop-implementer
    Pełni rolę generatora w pętli: pisze cały kod zgodnie z uzgodnionym kontraktem i nie ocenia własnej pracy.
  • 90loop-planner
    Pełni rolę planisty w pętli: zamienia ogólny cel w kontrakt z testowalnymi asercjami i nie dotyka kodu.
  • 85evaluator-contract
    Uruchamia lub składa wyniki Spec Kit Evaluator Contract, sprawdza ich pochodzenie i sprzeczności oraz wyjaśnia skutki odzyskiwania.
  • 100create-evaluator
    Tworzy ewaluator LLM-as-a-Judge w Langfuse: składa prompt, waliduje schemat, generuje ID i wstawia rekordy SQL do eval_templates oraz job_configurations z weryfikacją.
  • 100gan-style-harness
    Buduje aplikację autonomicznie w pętli generator i ewaluator, aż funkcja osiągnie ustalony próg jakości, wzorując się na harnessie GAN.
  • 100run-next-sprint
    Przeprowadza jeden pełny sprint harnessu dowodów: planista pisze kontrakt, generator go wykonuje, ewaluator ocenia i podaje status.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.