Przejdź do treści
Biblioteka skilli
Dane i analityka · Analiza

sql-server-table-reconciliation

/sql-server-table-reconciliation

Porównuje tabele SQL Server między instancjami: walidacja migracji danych, weryfikacja ETL, wykrywanie niezgodnych wierszy i dryfu schematu, z raportem uzgodnienia, przez sterownik mssql-python i Apache Arrow.

Repozytorium
skillz ↗
Licencja
MIT
Ostatnia zmiana repozytorium
25.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
4
Skrypty
3
Komentarze HTML
0
Adresy URL w SKILL.md
1
Przestarzałość

Brak sygnałów. Repozytorium zmienione 25.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co sprawdzić przed instalacją
  • 3 skrypty w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.

Skrypty: scripts/reconcile.py, tests/test_reconcile_sql.py, tests/test_tls_connection.py

Co robi i kiedy

Porównuje tabele SQL Server między instancjami: walidacja migracji danych, weryfikacja ETL, wykrywanie niezgodnych wierszy i dryfu schematu, z raportem uzgodnienia, przez sterownik mssql-python i Apache Arrow.

Oryginalny opis (EN)

Use when: comparing SQL Server tables across instances, data migration validation, ETL verification, row mismatch detection, schema drift, reconciliation report, production vs staging comparison. Uses mssql-python driver with Apache Arrow for fast columnar data transfer and comparison.

Jak działa

  1. Workflow
  2. Collect Inputs
  3. Bundled Script
  4. Comparison Rules
  5. Hash-Based Optimization (for large tables)
  6. Report Format
  7. Performance Considerations
  8. Constraints
Sekcje z nagłówków SKILL.md, w oryginale · 171 linii, 926 słów
Podgląd SKILL.md
---
name: sql-server-table-reconciliation
description: "Use when: comparing SQL Server tables across instances, data migration validation, ETL verification, row mismatch detection, schema drift, reconciliation report, production vs staging comparison. Uses mssql-python driver with Apache Arrow for fast columnar data transfer and comparison."
---

# SQL Server Table Reconciliation

Compare identical tables across two SQL Server instances using Python with `mssql-python` driver and Apache Arrow. Detect missing rows, column mismatches, schema drift, and produce a reconciliation report.

## Workflow

1. Collect connection details for source and target
2. Identify primary key / composite key
3. Detect schema differences
4. Extract data via Arrow for efficient columnar transfer
5. Compare rows and columns
6. Generate reconciliation report

## Collect Inputs

| Parameter | Required | Description |
|-----------|----------|-------------|
| Source server | Yes | Source SQL Server (e.g. `prod-server.database.windows.net`) |
| Source database | Yes | Source database name |
| Target server | Yes | Target SQL Server (e.g. `staging-server.database.windows.net`) |
| Target database | Yes | Target database name |
| Tables | Yes | Comma-separated `schema.table` names, or `schema.*` wildcard (e.g. `dbo.Orders,dbo.Items` or `dbo.*`) |
| Auth mode | Yes | `sql` (user/password) or `entra` (Azure AD/token) |
| Primary key | Auto-detect | Column(s) forming the row identity. Auto-detect from metadata if not provided. |
| Columns to compare | All | Subset of columns, or all non-PK columns |
| Chunk size | `100000` | Rows per batch for large tables |
| Output format | `console` | `console`, `csv`, `parquet`, or `json` |

For SQL safety, schema, table, primary-key, and column names must be simple
identifiers: ASCII letters, digits, and underscores, starting with a letter or
underscore, up to 128 characters. The script quotes accepted identifiers in
generated SQL and rejects other input before executing a query. SQL Server
names containing spaces or punctuation are not supported by this script.

Connections require TLS and validate the SQL Server certificate by default.
Use a trusted certificate on production and staging servers. For a controlled
local development server with a self-signed certificate only, pass
`--trust-source-self-signed-certificate` or
`--trust-target-self-signed-certificate` for that endpoint only. Each option
disables certificate validation for its named endpoint and prints a warning.
Never use either option for production data.

## Bundled Script

The reconciliation logic is provided as a standalone script at `scripts/reconcile.py`. Invoke it with the appropriate arguments based on user inputs:

```bash
python scripts/reconcile.py \
    --source-server <source_server> \
    --source-database <source_database> \
    --target-server <target_server> \
    --target-database <target_database> \
    --tables "<table_spec>" \
    --auth <sql|entra> \
    --chunk-size <chunk_size> \
    --output <console|csv|json>
```

### Optional arguments

| Argument | Description |
|----------|-------------|
| `--primary-key` | Comma-separated PK column(s). Omit to auto-detect. |
| `--columns` | Comma-separated columns to compare. Omit to compare all non-PK columns. |
| `--trust-source-self-signed-certificate` | Development only; skip source certificate validation for a controlled self-signed server. |
| `--trust-target-self-signed-certificate` | Development only; skip target certificate validation for a controlled self-signed server. |

### Example invocations

Single table with SQL auth:

```bash
python scripts/reconcile.py \
    --source-server prod-server.database.windows.net \
    --source-database ProdDB \
    --target-server staging-server.database.windows.net \
    --target-database StagingDB \
    --tables "dbo.Orders" \
    --auth sql \
    --output console
```

Wildcard with Entra auth and CSV output:

```bash
python scripts/reconcile.py \
    --source-server prod-server.database.windows.net \
    --source-database ProdDB \
    --target-server staging-server.database.windows.net \
    --target-database StagingDB \
    --tables "dbo.*" \
    --auth entra \
    --output csv
```

### Prerequisites

Install required packages before running:

```bash
pip install mssql-python pyarrow pandas
```

## Comparison Rules

- **Normalize types before comparing**: cast decimals to same precision, trim strings, normalize datetime to UTC
- **NULL handling**: `NULL == NULL` is considered a match (both sides missing = no diff)
- **Ignore row order**: always compare by PK join, never positional
- **Large tables**: chunk extraction with `OFFSET/FETCH` or `ROW_NUMBER()` partitioning

## Hash-Based Optimization (for large tables)

When table has >1M rows, generate a hash pre-check:

```sql
SELECT {pk_cols},
       HASHBYTES('SHA2_256', CONCAT_WS('|', col1, col2, ...)) AS row_hash
FROM {table}
```

Compare hashes first; only fetch full rows for mismatched hashes. This reduces data transfer significantly.

## Report Format

```
Reconciling dbo.EMPLOYEES...
Reconciling dbo.DEPARTMENTS...
Reconciling dbo.JOBS...

--- dbo.EMPLOYEES ---
  Source: 107  Target: 107
  Missing: 0  Extra: 0  Mismatches: 0
  Result: ✓ IDENTICAL

--- dbo.DEPARTMENTS ---
  Source: 27  Target: 27
  Missing: 0  Extra: 0  Mismatches: 3
  Result: ✗ DIFFERENCES FOUND

--- dbo.JOBS ---
  Source: 19  Target: 19
  Missing: 0  Extra: 0  Mismatches: 0
  Result: ✓ IDENTICAL

=== Summary: 2 passed, 1 failed, 0 skipped / 3 tables ===
```

When a single table is provided, include full detail (schema drift, sample rows, mismatches). When multiple tables, use the compact per-table format above with full detail only for tables with `FAIL` status.

## Performance Considerations

| Scenario | Strategy |
|----------|----------|
| < 100K rows | Single Arrow fetch, in-memory pandas compare |
| 100K–1M rows | Chunked extraction (100K batches), streaming comparison |
| > 1M rows | Hash pre-check → only fetch mismatched rows |
| Wide tables (100+ cols) | Compare PK + hash first, drill into specific columns on mismatch |
| Network-constrained | Use Arrow columnar format (10-50x smaller than row-by-row) |

## Constraints

- Always use `mssql-python` driver (not pyodbc, pymssql)
- Always use Apache Arrow via cursor (`cursor.arrow()`) for data extraction
- Use `mssql-python` connection keyword values as documented by Microsoft, for example `encrypt="yes"` and `trust_server_certificate="no"`; do not pass Boolean values such as `encrypt=True`. Keyword values keep SQL passwords containing semicolons out of an interpolated connection string. See [mssql-python connection strings](https://learn.microsoft.com/en-us/sql/connect/python/mssql-python/connection-strings).
- Never compare without identifying PK first — ask user if auto-detect fails
- Handle connection failures gracefully with retry logic
- **Never hardcode credentials** in generated scripts — use `os.environ` / `getpass` (env vars: `MSSQL_USER`, `MSSQL_PASSWORD`)
- Do not print credentials in output or logs
- Use parameterized queries (`?` placeholders) for metadata lookups — never f-string interpolate user input into SQL
Pliki w paczce (4)
  • SKILL.md 7 KB
  • scripts/reconcile.py 15 KB
  • tests/test_reconcile_sql.py 3 KB
  • tests/test_tls_connection.py 5 KB

Wersje

RepozytoriumWynikLicencja
Ta strona · OKHP3/skillz100MIT
github/awesome-copilot100MIT

Migawka bazy z 13.11.2026 · wersja paczki 8b214443ab35 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 96write-script-mssql
    Prowadzi pisanie zapytań do MS SQL Server i musi być używany za każdym razem, gdy powstaje takie zapytanie.
  • 100data-formats
    Pomaga wybierać formaty danych: Apache Arrow, Parquet, Avro i ORC, rozmiary grup wierszy i kodowanie w Parquet, Arrow Flight, kompresję i ewolucję schematów według wzorców dostępu.
  • 100mssql
    Wykonuje wyłącznie zapytania odczytu do kilku baz Microsoft SQL Server, przegląda schemat i blokuje zmiany danych.
  • 100mssql-insights-ops
    Bada bazę SQL Server przez MCP: opisuje tabele, sprawdza dziennik zmian DDL i tworzy powtarzalną dokumentację.
  • 100azuresql-db-from-sql-server
    Migruje lokalną konfigurację SQL Server do kontenera Azure SQL Database, aby rozwój lokalny odpowiadał Azure, w projektach używających obrazu mssql/server lub docker compose z SQL Server.
  • 95sql-server
    Podpowiada wzorce pracy z SQL Server i Azure SQL Database: T-SQL, indeksy, procedury składowane i optymalizacja wydajności.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.