Przejdź do treści
Biblioteka skilli
Dane i analityka · Analiza

data-cleaning

/data-cleaning

Czyści i przygotowuje brudne dane (braki, wartości odstające, typy, duplikaty) decyzjami zachowującymi sygnał i unikającymi wycieku, by dane nadawały się do analizy.

Repozytorium
AI-SKILLS ↗
Licencja
MIT
Ostatnia zmiana repozytorium
05.09.2026

Ocena i bezpieczeństwo

90/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść25 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 05.09.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Czyści i przygotowuje brudne dane (braki, wartości odstające, typy, duplikaty) decyzjami zachowującymi sygnał i unikającymi wycieku, by dane nadawały się do analizy.

Oryginalny opis (EN)

Clean and prepare messy data (missing values, outliers, types, duplicates) with decisions that preserve signal and avoid leakage. Use when raw data needs to be made analysis-ready without corrupting it.

Jak działa

  1. Method
  2. Boundaries
Sekcje z nagłówków SKILL.md, w oryginale · 54 linii, 412 słów
Podgląd SKILL.md
---
name: data-cleaning
description: Clean and prepare messy data (missing values, outliers, types, duplicates) with decisions that preserve signal and avoid leakage. Use when raw data needs to be made analysis-ready without corrupting it.
---

# Data cleaning

Real data is dirty: missing, duplicated, mistyped, inconsistent. Cleaning
is not mechanical; every choice (drop this, impute that, cap the outlier)
is a decision that can preserve or destroy signal, and some cleaning steps
leak the future into the past. Clean deliberately, documenting why.

## Method

1. **Understand before you clean.** Do EDA first (see
   exploratory-data-analysis) so you know what "dirty" means here and why:
   cleaning blind (drop all rows with any null, cap everything at the 99th
   percentile) destroys signal you did not know was there.
2. **Handle missing values by their meaning.** Missing-at-random can be
   imputed (median for skewed numerics, a constant plus a "was-missing"
   indicator flag often beats fancy imputation); missing-with-meaning (no
   subscription = null plan) is its own category, not a value to fill.
   Dropping rows is fine when few and random, dangerous when missingness
   correlates with the target (see the missingness discussion in
   feature-engineering-tabular).
3. **Treat outliers as errors or extremes, deliberately.** Confirmed data
   errors (impossible values, typos) get fixed or removed; genuine extremes
   get kept, capped, or transformed depending on the model's sensitivity
   (tree models tolerate outliers; linear and distance-based do not).
   Never silently delete extremes that are real data (see
   exploratory-data-analysis step 3).
4. **Fix types and standardize.** Parse dates as dates, numbers as numbers
   (strip currency symbols, thousands separators), and standardize
   categorical values (unify "USA"/"US"/"United States", trim whitespace,
   normalize case). Inconsistent categories fragment signal across
   duplicate levels.
5. **Deduplicate carefully.** Find true duplicates (same entity recorded
   twice) versus legitimate repeats (same value, different events). Dedupe
   on the keys that define uniqueness, not blindly on all columns, and know
   which record to keep (see idempotency thinking in data-pipeline-design).
6. **Fit cleaning on train only, apply to all.** Imputation values, scaling
   parameters, and category mappings are learned from the training data
   and applied to validation/test, never fit on the full dataset. Fitting a
   median-imputer on all data before splitting leaks test information into
   training (see train-test-discipline, feature-engineering-tabular).

## Boundaries

- Cleaning transforms data; log what you changed and why, because the
  cleaning decisions are part of the analysis and affect the result. "We
  dropped the outliers" is a choice a reviewer must be able to see and
  question.
- Over-cleaning (aggressive outlier removal, heavy smoothing) can erase the
  very signal or rare-but-important cases you care about (fraud, failures).
- Cleaning does not fix a biased or unrepresentative sample; a spotless
  dataset drawn wrong is still wrong (see the sampling caution in
  statistical-inference, correlation-causation).

Wersje

RepozytoriumWynikLicencja
Ta strona · Amey-Thakur/AI-SKILLS90MIT
ericrisco/rsc-harness100MIT
magnus919/agent-skills100MIT
SSameer20/data-analyst-toolkit100MIT
angshenting/ds-spdd100MIT
seb1n/awesome-ai-agent-skills100MIT
param087/agent-ml-skills100MIT
lisonevf/finance-skills90MIT

Migawka bazy z 13.11.2026 · wersja paczki ca225c74ccb7 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 90clean-transform
    Projektuje pipeline czyszczenia i transformacji danych: braki, wartości odstające i deduplikacja.
  • 100clean-data
    Profiluje i czyści kliniczny zbiór CSV lub Excel przed analizą (braki, odstające, duplikaty, niezgodne typy) w trzech etapach, każdy po zatwierdzeniu badacza, i nigdy nie czyści automatycznie.
  • 100data-cleaning-standards
    Czyści i standaryzuje dane ubezpieczeń pojazdów w plikach CSV i Excel: braki, formaty, duplikaty i ujednolicenie pól.
  • 90data-scrubbing
    Czyści i standaryzuje zbiory tabelaryczne: braki, duplikaty, wartości odstające, łączenie rekordów i kontrole przed raportem.
  • 100dataset-quality-audit
    Przeprowadza kontrole jakości danych tabelarycznych (CSV, Excel, TSV, JSON): braki, duplikaty, wartości odstające, formaty i typy, z oceną, stopniem i wskazówkami poprawy.
  • 100data-validator
    Waliduje jakość danych w CSV, JSON i eksportach baz: braki, niezgodne typy, duplikaty, wartości odstające i naruszenia schematu, także przy potokach ETL i kontraktach danych.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.