dev-prompt-evaluation
/dev-prompt-evaluation
Projektuje, testuje, porównuje, wersjonuje i waliduje prompty oraz zachowanie LLM z mierzalnymi kryteriami i zbiorami danych.
- Autor
- blueskyxn ↗
- Repozytorium
- codex-is-all-you-need ↗
- Licencja
- GPL-3.0
- Ostatnia zmiana repozytorium
- 17.09.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 17.09.2026, bez odwołań do wycofanych modeli i API.
GPL-3.0, otwarta.
Co robi i kiedy
Projektuje, testuje, porównuje, wersjonuje i waliduje prompty oraz zachowanie LLM z mierzalnymi kryteriami i zbiorami danych.
Oryginalny opis (EN)
Use to design, test, compare, version, and validate prompts or LLM behavior with measurable criteria and datasets.
Jak działa
- Steps
- Output
- Do not
Podgląd SKILL.md
--- name: dev-prompt-evaluation description: Use to design, test, compare, version, and validate prompts or LLM behavior with measurable criteria and datasets. metadata: version: "0.3" updated: "2026-06-12" --- # Prompt evaluation workflow Use this workflow when prompts, agent instructions, LLM outputs, or AI app behavior need systematic evaluation. ## Steps 1. Define the prompt surface. - System, developer, user, tool, retrieval, memory, and output-format instructions. - Runtime model, temperature or reasoning settings, tool access, and context limits when known. - Current failure modes or quality goals. 2. Define success criteria. - Correctness, completeness, citation quality, format compliance, tone, latency, cost, refusal behavior, or safety. - Pass/fail checks where possible. - Human review rubric when automated scoring is not enough. 3. Build an evaluation set. - Representative normal cases. - Edge cases and adversarial cases. - Regression cases from previous failures. - Expected outputs, constraints, or scoring notes. 4. Compare prompt variants. - Keep one controlled change per variant when feasible. - Track version, rationale, expected improvement, and observed outcome. - Measure token usage and latency if available. 5. Validate tool and retrieval behavior. - Check whether the prompt asks for unavailable tools or hidden context. - Verify citations, file references, and retrieved evidence. - Confirm that fallback behavior is explicit. 6. Decide deployment readiness. - Keep the simplest prompt that meets quality goals. - Document known weaknesses and monitoring signals. - Add regression examples for failures that should not return. ## Output Return: 1. Prompt surface reviewed 2. Evaluation criteria 3. Test set or representative cases 4. Variant comparison 5. Recommended prompt version 6. Cost, latency, safety, and monitoring notes ## Do not - Do not optimize by vibes only. - Do not compare multiple changes without recording what changed. - Do not claim robustness from a tiny or unrepresentative test set. - Do not assume a model, tool, or retrieval source exists without checking runtime evidence.
Wersje
W bazie nie ma innych skilli o nazwie dev-prompt-evaluation.
Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.
Migawka bazy z 13.11.2026 · wersja paczki b83e5f496b34 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100prompt-engineer
Projektuje, testuje i optymalizuje prompty dla LLM: wzorce few-shot, chain-of-thought i ReAct, prompty systemowe, format wyjścia oraz ewaluację promptów. - 100prompt-tester
Projektuje, testuje i iteruje prompty AI według kryteriów oceny: porównanie wariantów, A/B, przypadki brzegowe i jakość wyników. - 100genai-prompt-versioning
Wersjonuje prompty i porównuje zmiany na powtarzalnych przykładach. - 100llm-application-dev-prompt-optimize
Ocenia i poprawia prompty LLM na przykładach, z ustrukturyzowanymi instrukcjami i mierzonymi porównaniami. - 100senior-prompt-engineer
Optymalizuje prompty i szablony, ocenia odpowiedzi LLM, projektuje RAG i architektury agentów oraz analizuje zużycie tokenów. - 100prompt-engineering-expert
Przegląda, generuje, refaktoryzuje, debuguje i testuje prompty AI oraz projektuje szablony promptów, instrukcje systemowe, wytyczne zachowania agentów, prompty narzędziowe i multimodalne oraz ramy ewaluacji.