Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

dev-prompt-evaluation

/dev-prompt-evaluation

Projektuje, testuje, porównuje, wersjonuje i waliduje prompty oraz zachowanie LLM z mierzalnymi kryteriami i zbiorami danych.

Licencja
GPL-3.0
Ostatnia zmiana repozytorium
17.09.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 17.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

GPL-3.0, otwarta.

Co robi i kiedy

Projektuje, testuje, porównuje, wersjonuje i waliduje prompty oraz zachowanie LLM z mierzalnymi kryteriami i zbiorami danych.

Oryginalny opis (EN)

Use to design, test, compare, version, and validate prompts or LLM behavior with measurable criteria and datasets.

Jak działa

  1. Steps
  2. Output
  3. Do not
Sekcje z nagłówków SKILL.md, w oryginale · 56 linii, 289 słów
Podgląd SKILL.md
---
name: dev-prompt-evaluation
description: Use to design, test, compare, version, and validate prompts or LLM behavior with measurable criteria and datasets.
metadata:
  version: "0.3"
  updated: "2026-06-12"
---

# Prompt evaluation workflow

Use this workflow when prompts, agent instructions, LLM outputs, or AI app behavior need systematic evaluation.

## Steps

1. Define the prompt surface.
   - System, developer, user, tool, retrieval, memory, and output-format instructions.
   - Runtime model, temperature or reasoning settings, tool access, and context limits when known.
   - Current failure modes or quality goals.

2. Define success criteria.
   - Correctness, completeness, citation quality, format compliance, tone, latency, cost, refusal behavior, or safety.
   - Pass/fail checks where possible.
   - Human review rubric when automated scoring is not enough.

3. Build an evaluation set.
   - Representative normal cases.
   - Edge cases and adversarial cases.
   - Regression cases from previous failures.
   - Expected outputs, constraints, or scoring notes.

4. Compare prompt variants.
   - Keep one controlled change per variant when feasible.
   - Track version, rationale, expected improvement, and observed outcome.
   - Measure token usage and latency if available.

5. Validate tool and retrieval behavior.
   - Check whether the prompt asks for unavailable tools or hidden context.
   - Verify citations, file references, and retrieved evidence.
   - Confirm that fallback behavior is explicit.

6. Decide deployment readiness.
   - Keep the simplest prompt that meets quality goals.
   - Document known weaknesses and monitoring signals.
   - Add regression examples for failures that should not return.

## Output

Return:

1. Prompt surface reviewed
2. Evaluation criteria
3. Test set or representative cases
4. Variant comparison
5. Recommended prompt version
6. Cost, latency, safety, and monitoring notes

## Do not

- Do not optimize by vibes only.
- Do not compare multiple changes without recording what changed.
- Do not claim robustness from a tiny or unrepresentative test set.
- Do not assume a model, tool, or retrieval source exists without checking runtime evidence.

Wersje

W bazie nie ma innych skilli o nazwie dev-prompt-evaluation.

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki b83e5f496b34 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100prompt-engineer
    Projektuje, testuje i optymalizuje prompty dla LLM: wzorce few-shot, chain-of-thought i ReAct, prompty systemowe, format wyjścia oraz ewaluację promptów.
  • 100prompt-tester
    Projektuje, testuje i iteruje prompty AI według kryteriów oceny: porównanie wariantów, A/B, przypadki brzegowe i jakość wyników.
  • 100genai-prompt-versioning
    Wersjonuje prompty i porównuje zmiany na powtarzalnych przykładach.
  • 100llm-application-dev-prompt-optimize
    Ocenia i poprawia prompty LLM na przykładach, z ustrukturyzowanymi instrukcjami i mierzonymi porównaniami.
  • 100senior-prompt-engineer
    Optymalizuje prompty i szablony, ocenia odpowiedzi LLM, projektuje RAG i architektury agentów oraz analizuje zużycie tokenów.
  • 100prompt-engineering-expert
    Przegląda, generuje, refaktoryzuje, debuguje i testuje prompty AI oraz projektuje szablony promptów, instrukcje systemowe, wytyczne zachowania agentów, prompty narzędziowe i multimodalne oraz ramy ewaluacji.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.