test-regression-compare
/test-regression-compare
Porównuje wyniki przed i po zmianie na tym samym wejściu, normalizuje pola zmienne i pokazuje różnice rekord po rekordzie.
- Autor
- sci-kai ↗
- Repozytorium
- opencode-bioinfo-kit ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 11.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 11.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Porównuje wyniki przed i po zmianie na tym samym wejściu, normalizuje pola zmienne i pokazuje różnice rekord po rekordzie.
Oryginalny opis (EN)
Compare outputs before and after a change on the same input: run both versions, normalise volatile fields (dates, command lines, run times), diff tables and VCF records record by record, show the differences, and confirm only the intended records changed. Use for every result-affecting change such as a tool update, template sync, filter or threshold change.
Jak działa
- Purpose
- When to use
- Steps
- Checks before finishing
- Pitfalls
Podgląd SKILL.md
--- name: test-regression-compare description: 'Compare outputs before and after a change on the same input: run both versions, normalise volatile fields (dates, command lines, run times), diff tables and VCF records record by record, show the differences, and confirm only the intended records changed. Use for every result-affecting change such as a tool update, template sync, filter or threshold change.' --- # Regression comparison ## Purpose Show that a change altered only what it was meant to alter. ## When to use - Tool or container version bumps, template syncs, changed thresholds, refactors of result code. - Not for new features without a previous output (use `test-pipeline-asserts`). ## Steps 1. Fix the input: the same synthetic or T1 data, same parameters, same seed. Record pipeline commit (add `-dirty` if uncommitted), tool versions and data checksum. 2. Run the baseline (old revision, e.g. `dev`) and the candidate into separate run folders under the scratch area, e.g. `runs/<YYYYMMDD>_<suite>_<label>/`. Never overwrite the baseline. 3. Normalise volatile content before diffing: - VCF headers: drop dates and tool command lines (`bcftools view -H` compares records only). - TSVs: sort by key columns; drop run-time columns. - Ignore HTML, plots, logs; compare indexes and `pipeline_info/` by presence only. 4. Compare record by record: file lists first, then per file `diff <(sort a) <(sort b)`, or pandas `merge` on the key with `indicator=True`. Count added, removed, changed records per file. 5. Classify every difference: intended (expected by the change), unintended, or noise. Explain each intended one in one line. 6. Show the differences to the user (counts and a few examples, no sensitive content). Check the unaffected steps: their outputs must be identical. 7. Exit status: the comparison tool exits non-zero if anything differs, so it can be scripted. 8. Record the result in the test report (`test-report`): baseline, candidate, data, counts, verdict. ## Checks before finishing - Same input and parameters verified for both runs (manifest compared). - Zero unexplained differences, or each one named. - The baseline run folder still exists. ## Pitfalls - Comparing after tool updates without pinning: version drift looks like a regression. - Differences hidden by over-aggressive normalisation: list what you normalised. - Reading record contents of real data into context: use counts and headers only; real data stays out of fixtures.
Wersje
W bazie nie ma innych skilli o nazwie test-regression-compare.
Migawka bazy z 13.11.2026 · wersja paczki a65166f06839 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100compare-experiments
Porównuje wyniki uruchomień eksperymentów, wykrywa regresje i pokazuje różnice w ocenach między modelami. - 100diff-files
Porównuje dwa pliki lub ich wersje i pokazuje, co się między nimi zmieniło. - 100test-connector
Testuje konektor Fivetran przez fivetran debug, a także nagrywa scenariusz, odtwarza go i analizuje różnice. - 100document-comparison
Porównuje dwa dokumenty obok siebie, wyróżnia różnice i generuje uporządkowane podsumowanie zmian, na przykład między wersjami plików. - 100dataverse-integration-reconciliation
Porównuje rekord po rekordzie zewnętrzny system z Dataverse, odtwarza listę źródłową z historii Power Automate i wyjaśnia każdą różnicę dowodami.