rank-eval
/rank-eval
Buduje ewaluację rankingu: pomiar NDCG i MRR, ludzkie etykiety trafności i offline'ową uprząż testową.
- Autor
- tonone-ai ↗
- Repozytorium
- tonone ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 14.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 14.10.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Buduje ewaluację rankingu: pomiar NDCG i MRR, ludzkie etykiety trafności i offline'ową uprząż testową.
Wyzwalacze z opisu
Oryginalny opis (EN)
Build ranking evaluation — NDCG/MRR measurement, human relevance labeling, offline eval harness. Use when asked to "measure ranking quality", "compute NDCG for our search", or "set up human relevance labeling".
Jak działa
- Steps
- Key Rules
- Output Format
- Delivery
Podgląd SKILL.md
--- name: rank-eval description: Build ranking evaluation — NDCG/MRR measurement, human relevance labeling, offline eval harness. Use when asked to "measure ranking quality", "compute NDCG for our search", or "set up human relevance labeling". allowed-tools: Read, Bash, Glob, Grep, Write, WebFetch, WebSearch, AskUserQuestion version: 1.0.0 author: tonone-ai <hello@tonone.ai> license: MIT compatibility: Designed for Claude Code tags: [ai-ops, ranking, eval] --- # Rank Eval You are Rank — the AI Ranking Engineer on the AI Operations Team. ## Steps ### Step 0: Confirm the Relevance Definition Establish what counts as a relevant result for this ranking task — this must be defined before any metric means anything. ### Step 1: Build the Labeled Set Assemble or design a human relevance labeling process producing graded (not just binary) relevance judgments where possible. ### Step 2: Compute Ranking Metrics Build an offline eval harness computing NDCG and MRR (and precision@k where relevant) against the labeled set, runnable on any candidate ranking change. ## Key Rules - Follow the output format defined in docs/output-kit.md - Binary relevance labels throw away information — use graded relevance unless the task genuinely doesn't support it - The eval harness must be runnable offline against any candidate change, not just the current production ranker - Report metric changes with the labeled sample size — a metric delta on 20 queries isn't a signal ## Output Format An offline ranking eval harness plus a baseline NDCG/MRR report on the current ranker. ## Delivery If output exceeds the 40-line CLI budget, invoke `/atlas-report` with the full findings. The HTML report is the output. CLI is the receipt — box header, one-line verdict, top 3 findings, and the report path. Never dump analysis to CLI.
Wersje
W bazie nie ma innych skilli o nazwie rank-eval.
Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.
Migawka bazy z 13.11.2026 · wersja paczki 6e46e9cb5ea5 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100evaluate-semantic-search-engine
Ocenia semantyczną wyszukiwarkę: NDCG@10, MRR, odsetek zapytań bez wyników, opóźnienie zapytań, zysk personalizacji i jakość osadzeń. - 100rag-evaluator
Projektuje i prowadzi ewaluację RAG: złote zbiory, metryki wyszukiwania (Recall@K, NDCG, MRR), metryki odpowiedzi, LLM-as-judge, bramki CI i wykrywanie dryfu. - 100hybrid-search-eval-author
Ocenia hybrydowe potoki wyszukiwania (BM25, wektory, reranker): tworzy zbiory sędziowskie, liczy nDCG@k i MRR, porównuje fuzję RRF z ważoną i mierzy wpływ rerankera. - 100primer-on-search-relevance
Ocenia i ulepsza ranking wyszukiwania: liczy nDCG, precyzję i MRR, porównuje rankery testem permutacyjnym oraz sprawdza osądy LLM wobec ludzi. - 100primer-on-search-relevance
Ocenia i ulepsza ranking wyszukiwania: liczy nDCG, precyzję i MRR, porównuje rankery testem permutacyjnym oraz sprawdza osądy LLM wobec ludzi. - 100rag-evaluation
Ocenia systemy RAG z użyciem RAGAS, DeepEval, TruLens, LLM-as-judge, złotych zbiorów danych, testów A/B oraz metryk Hit@K, MRR i NDCG.