Przejdź do treści
Biblioteka skilli
Dane i analityka · Przegląd i audyt

test-regression-compare

/test-regression-compare

Porównuje wyniki przed i po zmianie na tym samym wejściu, normalizuje pola zmienne i pokazuje różnice rekord po rekordzie.

Licencja
MIT
Ostatnia zmiana repozytorium
11.11.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 11.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Porównuje wyniki przed i po zmianie na tym samym wejściu, normalizuje pola zmienne i pokazuje różnice rekord po rekordzie.

Oryginalny opis (EN)

Compare outputs before and after a change on the same input: run both versions, normalise volatile fields (dates, command lines, run times), diff tables and VCF records record by record, show the differences, and confirm only the intended records changed. Use for every result-affecting change such as a tool update, template sync, filter or threshold change.

Jak działa

  1. Purpose
  2. When to use
  3. Steps
  4. Checks before finishing
  5. Pitfalls
Sekcje z nagłówków SKILL.md, w oryginale · 38 linii, 320 słów
Podgląd SKILL.md
---
name: test-regression-compare
description: 'Compare outputs before and after a change on the same input: run both versions, normalise volatile fields (dates, command lines, run times), diff tables and VCF records record by record, show the differences, and confirm only the intended records changed. Use for every result-affecting change such as a tool update, template sync, filter or threshold change.'
---

# Regression comparison

## Purpose

Show that a change altered only what it was meant to alter.

## When to use

- Tool or container version bumps, template syncs, changed thresholds, refactors of result code.
- Not for new features without a previous output (use `test-pipeline-asserts`).

## Steps

1. Fix the input: the same synthetic or T1 data, same parameters, same seed. Record pipeline commit (add `-dirty` if uncommitted), tool versions and data checksum.
2. Run the baseline (old revision, e.g. `dev`) and the candidate into separate run folders under the scratch area, e.g. `runs/<YYYYMMDD>_<suite>_<label>/`. Never overwrite the baseline.
3. Normalise volatile content before diffing:
   - VCF headers: drop dates and tool command lines (`bcftools view -H` compares records only).
   - TSVs: sort by key columns; drop run-time columns.
   - Ignore HTML, plots, logs; compare indexes and `pipeline_info/` by presence only.
4. Compare record by record: file lists first, then per file `diff <(sort a) <(sort b)`, or pandas `merge` on the key with `indicator=True`. Count added, removed, changed records per file.
5. Classify every difference: intended (expected by the change), unintended, or noise. Explain each intended one in one line.
6. Show the differences to the user (counts and a few examples, no sensitive content). Check the unaffected steps: their outputs must be identical.
7. Exit status: the comparison tool exits non-zero if anything differs, so it can be scripted.
8. Record the result in the test report (`test-report`): baseline, candidate, data, counts, verdict.

## Checks before finishing

- Same input and parameters verified for both runs (manifest compared).
- Zero unexplained differences, or each one named.
- The baseline run folder still exists.

## Pitfalls

- Comparing after tool updates without pinning: version drift looks like a regression.
- Differences hidden by over-aggressive normalisation: list what you normalised.
- Reading record contents of real data into context: use counts and headers only; real data stays out of fixtures.

Wersje

W bazie nie ma innych skilli o nazwie test-regression-compare.

Migawka bazy z 13.11.2026 · wersja paczki a65166f06839 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100compare-experiments
    Porównuje wyniki uruchomień eksperymentów, wykrywa regresje i pokazuje różnice w ocenach między modelami.
  • 100diff-files
    Porównuje dwa pliki lub ich wersje i pokazuje, co się między nimi zmieniło.
  • 100test-connector
    Testuje konektor Fivetran przez fivetran debug, a także nagrywa scenariusz, odtwarza go i analizuje różnice.
  • 100document-comparison
    Porównuje dwa dokumenty obok siebie, wyróżnia różnice i generuje uporządkowane podsumowanie zmian, na przykład między wersjami plików.
  • 100dataverse-integration-reconciliation
    Porównuje rekord po rekordzie zewnętrzny system z Dataverse, odtwarza listę źródłową z historii Power Automate i wyjaśnia każdą różnicę dowodami.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.