Przejdź do treści
Biblioteka skilli
AI i agenci · Testowanie

rag-evaluation

/rag-evaluation

Mierzy osobno wyszukiwanie i generowanie na ocenionym zbiorze, by wiedzieć, czy zła odpowiedź wynika z wyszukiwania, czy z modelu.

Repozytorium
AI-SKILLS ↗
Licencja
MIT
Ostatnia zmiana repozytorium
05.09.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Mierzy osobno wyszukiwanie i generowanie na ocenionym zbiorze, by wiedzieć, czy zła odpowiedź wynika z wyszukiwania, czy z modelu.

Oryginalny opis (EN)

Measure retrieval and generation separately against a judged set, so you know whether a wrong answer came from the search or the model. Use when a RAG system is unreliable and every fix is a guess.

Jak działa

  1. Method
  2. Boundaries
Sekcje z nagłówków SKILL.md, w oryginale · 39 linii, 271 słów
Podgląd SKILL.md
---
name: rag-evaluation
description: Measure retrieval and generation separately against a judged set, so you know whether a wrong answer came from the search or the model. Use when a RAG system is unreliable and every fix is a guess.
---

# RAG evaluation

A RAG system fails in two distinct places: it retrieved the wrong
material, or it retrieved the right material and answered badly.
Evaluating end to end tells you it is broken; evaluating the stages
separately tells you where.

## Method

1. **Build a judged set from real questions.** Actual user questions
   with the passages that answer them and an acceptable answer,
   assembled once and maintained.
2. **Measure retrieval independently.** Was the answering passage in the
   top results? This single number isolates half the system and is the
   cheapest to improve (see relevance-tuning).
3. **Measure faithfulness separately.** Given the retrieved context, is
   the answer supported by it? An unfaithful answer with correct
   retrieval is a generation problem.
4. **Check for the confident empty case.** When nothing relevant was
   retrieved, does the system say so or invent an answer? This is the
   most damaging failure and the least measured.
5. **Test the questions your corpus cannot answer.** A system that
   refuses appropriately is working correctly, and a judged set of only
   answerable questions never tests it.
6. **Re-run on every change.** Chunking, embedding model, prompt, and
   reranker all interact, and a change that improves one stage can
   degrade the whole (see agent-eval-design).
7. **Track disagreement with human judgement.** Automated scoring drifts
   from what users consider a good answer, so periodic human review
   calibrates it.

## Boundaries

Evaluation measures the cases in the judged set, which ages as the
corpus and the questions change. Automated faithfulness scoring is
imperfect and can be gamed by hedging. Good scores on a small set do not
generalise to a long tail of unusual questions.

Wersje

RepozytoriumWynikLicencja
Ta strona · Amey-Thakur/AI-SKILLS90MIT
claude-dev-suite/claude-dev-suite100MIT
latestaiagents/agent-skills98MIT
andreibesleaga/gabbe90CC-BY-4.0

Migawka bazy z 13.11.2026 · wersja paczki c6095eee1209 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 3 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100retrieval-evaluation
    Ocenia funkcję RAG lub wyszukiwania w dwóch etapach: najpierw wyszukiwanie, potem generowanie, zanim zmieni się model językowy.
  • 90monitor-rag-quality
    Mierzy jakość potoku RAG i rozdziela błędy wyszukiwania od błędów generowania odpowiedzi.
  • 100rag-architecture-designer
    Projektuje architekturę pipeline'u RAG: komponenty pobierania danych, indeksowania, wyszukiwania, generowania i ewaluacji.
  • 100evaluate-rag
    Prowadzi ocenę jakości retrieval i generowania w potoku RAG: jakość wyszukiwania, wierność i trafność odpowiedzi, syntetyczne pary pytanie-odpowiedź i optymalizacja chunkowania.
  • 100rag-systems
    Projektuje, buduje i naprawia systemy RAG: parsowanie, fragmentowanie, wyszukiwanie hybrydowe, kontrolę dostępu i ewaluację odpowiedzi.
  • 90rag-architect
    Projektuje potoki RAG, optymalizuje strategie wyszukiwania, dobiera modele embeddingów i buduje wyszukiwanie wektorowe w bazie wiedzy.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.