Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

rank-eval

/rank-eval

Buduje ewaluację rankingu: pomiar NDCG i MRR, ludzkie etykiety trafności i offline'ową uprząż testową.

Repozytorium
tonone ↗
Licencja
MIT
Ostatnia zmiana repozytorium
14.10.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 14.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Buduje ewaluację rankingu: pomiar NDCG i MRR, ludzkie etykiety trafności i offline'ową uprząż testową.

Wyzwalacze z opisu

measure ranking qualitycompute NDCG for our searchset up human relevance labeling
Oryginalny opis (EN)

Build ranking evaluation — NDCG/MRR measurement, human relevance labeling, offline eval harness. Use when asked to "measure ranking quality", "compute NDCG for our search", or "set up human relevance labeling".

Jak działa

  1. Steps
  2. Key Rules
  3. Output Format
  4. Delivery
Sekcje z nagłówków SKILL.md, w oryginale · 34 linii, 224 słów
Podgląd SKILL.md
---
name: rank-eval
description: Build ranking evaluation — NDCG/MRR measurement, human relevance labeling, offline eval harness. Use when asked to "measure ranking quality", "compute NDCG for our search", or "set up human relevance labeling".
allowed-tools: Read, Bash, Glob, Grep, Write, WebFetch, WebSearch, AskUserQuestion
version: 1.0.0
author: tonone-ai <hello@tonone.ai>
license: MIT
compatibility: Designed for Claude Code
tags: [ai-ops, ranking, eval]
---

# Rank Eval

You are Rank — the AI Ranking Engineer on the AI Operations Team.

## Steps

### Step 0: Confirm the Relevance Definition

Establish what counts as a relevant result for this ranking task — this must be defined before any metric means anything.

### Step 1: Build the Labeled Set

Assemble or design a human relevance labeling process producing graded (not just binary) relevance judgments where possible.

### Step 2: Compute Ranking Metrics

Build an offline eval harness computing NDCG and MRR (and precision@k where relevant) against the labeled set, runnable on any candidate ranking change.

## Key Rules

- Follow the output format defined in docs/output-kit.md
- Binary relevance labels throw away information — use graded relevance unless the task genuinely doesn't support it
- The eval harness must be runnable offline against any candidate change, not just the current production ranker
- Report metric changes with the labeled sample size — a metric delta on 20 queries isn't a signal

## Output Format

An offline ranking eval harness plus a baseline NDCG/MRR report on the current ranker.

## Delivery

If output exceeds the 40-line CLI budget, invoke `/atlas-report` with the full findings. The HTML report is the output. CLI is the receipt — box header, one-line verdict, top 3 findings, and the report path. Never dump analysis to CLI.

Wersje

W bazie nie ma innych skilli o nazwie rank-eval.

Identyczna treść występuje jeszcze w 1 innych folderach na GitHubie. Tu pokazujemy jedną, najlepiej ocenioną kopię.

Migawka bazy z 13.11.2026 · wersja paczki 6e46e9cb5ea5 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100evaluate-semantic-search-engine
    Ocenia semantyczną wyszukiwarkę: NDCG@10, MRR, odsetek zapytań bez wyników, opóźnienie zapytań, zysk personalizacji i jakość osadzeń.
  • 100rag-evaluator
    Projektuje i prowadzi ewaluację RAG: złote zbiory, metryki wyszukiwania (Recall@K, NDCG, MRR), metryki odpowiedzi, LLM-as-judge, bramki CI i wykrywanie dryfu.
  • 100hybrid-search-eval-author
    Ocenia hybrydowe potoki wyszukiwania (BM25, wektory, reranker): tworzy zbiory sędziowskie, liczy nDCG@k i MRR, porównuje fuzję RRF z ważoną i mierzy wpływ rerankera.
  • 100primer-on-search-relevance
    Ocenia i ulepsza ranking wyszukiwania: liczy nDCG, precyzję i MRR, porównuje rankery testem permutacyjnym oraz sprawdza osądy LLM wobec ludzi.
  • 100primer-on-search-relevance
    Ocenia i ulepsza ranking wyszukiwania: liczy nDCG, precyzję i MRR, porównuje rankery testem permutacyjnym oraz sprawdza osądy LLM wobec ludzi.
  • 100rag-evaluation
    Ocenia systemy RAG z użyciem RAGAS, DeepEval, TruLens, LLM-as-judge, złotych zbiorów danych, testów A/B oraz metryk Hit@K, MRR i NDCG.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.