rag-evaluation
/rag-evaluation
Mierzy osobno wyszukiwanie i generowanie na ocenionym zbiorze, by wiedzieć, czy zła odpowiedź wynika z wyszukiwania, czy z modelu.
- Autor
- Amey-Thakur ↗
- Repozytorium
- AI-SKILLS ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 05.09.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Mierzy osobno wyszukiwanie i generowanie na ocenionym zbiorze, by wiedzieć, czy zła odpowiedź wynika z wyszukiwania, czy z modelu.
Oryginalny opis (EN)
Measure retrieval and generation separately against a judged set, so you know whether a wrong answer came from the search or the model. Use when a RAG system is unreliable and every fix is a guess.
Jak działa
- Method
- Boundaries
Podgląd SKILL.md
--- name: rag-evaluation description: Measure retrieval and generation separately against a judged set, so you know whether a wrong answer came from the search or the model. Use when a RAG system is unreliable and every fix is a guess. --- # RAG evaluation A RAG system fails in two distinct places: it retrieved the wrong material, or it retrieved the right material and answered badly. Evaluating end to end tells you it is broken; evaluating the stages separately tells you where. ## Method 1. **Build a judged set from real questions.** Actual user questions with the passages that answer them and an acceptable answer, assembled once and maintained. 2. **Measure retrieval independently.** Was the answering passage in the top results? This single number isolates half the system and is the cheapest to improve (see relevance-tuning). 3. **Measure faithfulness separately.** Given the retrieved context, is the answer supported by it? An unfaithful answer with correct retrieval is a generation problem. 4. **Check for the confident empty case.** When nothing relevant was retrieved, does the system say so or invent an answer? This is the most damaging failure and the least measured. 5. **Test the questions your corpus cannot answer.** A system that refuses appropriately is working correctly, and a judged set of only answerable questions never tests it. 6. **Re-run on every change.** Chunking, embedding model, prompt, and reranker all interact, and a change that improves one stage can degrade the whole (see agent-eval-design). 7. **Track disagreement with human judgement.** Automated scoring drifts from what users consider a good answer, so periodic human review calibrates it. ## Boundaries Evaluation measures the cases in the judged set, which ages as the corpus and the questions change. Automated faithfulness scoring is imperfect and can be gamed by hedging. Good scores on a small set do not generalise to a long tail of unusual questions.
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · Amey-Thakur/AI-SKILLS | 90 | MIT |
| claude-dev-suite/claude-dev-suite | 100 | MIT |
| latestaiagents/agent-skills | 98 | MIT |
| andreibesleaga/gabbe | 90 | CC-BY-4.0 |
Migawka bazy z 13.11.2026 · wersja paczki c6095eee1209 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 3 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100retrieval-evaluation
Ocenia funkcję RAG lub wyszukiwania w dwóch etapach: najpierw wyszukiwanie, potem generowanie, zanim zmieni się model językowy. - 90monitor-rag-quality
Mierzy jakość potoku RAG i rozdziela błędy wyszukiwania od błędów generowania odpowiedzi. - 100rag-architecture-designer
Projektuje architekturę pipeline'u RAG: komponenty pobierania danych, indeksowania, wyszukiwania, generowania i ewaluacji. - 100evaluate-rag
Prowadzi ocenę jakości retrieval i generowania w potoku RAG: jakość wyszukiwania, wierność i trafność odpowiedzi, syntetyczne pary pytanie-odpowiedź i optymalizacja chunkowania. - 100rag-systems
Projektuje, buduje i naprawia systemy RAG: parsowanie, fragmentowanie, wyszukiwanie hybrydowe, kontrolę dostępu i ewaluację odpowiedzi. - 90rag-architect
Projektuje potoki RAG, optymalizuje strategie wyszukiwania, dobiera modele embeddingów i buduje wyszukiwanie wektorowe w bazie wiedzy.