Dane i analityka · Budowanie i kod
pyspark-large-scale-batch-processing
/pyspark-large-scale-batch-processing
Buduje skalowalne wsadowe pipeline ETL w Pythonie przez PySpark, RDD i węzły klastra.
- Autor
- nextboxis ↗
- Repozytorium
- library-skill-agents ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 28.10.2026
Ocena i bezpieczeństwo
100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Przestarzałość
Brak sygnałów. Repozytorium zmienione 28.10.2026, bez odwołań do wycofanych modeli i API.
Licencja
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Buduje skalowalne wsadowe pipeline ETL w Pythonie przez PySpark, RDD i węzły klastra.
Oryginalny opis (EN)
Use this skill when authoring scalable batch ETL pipelines in Python using PySpark, RDDs, and distributed cluster nodes.
Jak działa
- When to use
- Prerequisites
- Step-by-step workflow
- Commands / code examples
- Common mistakes & pitfalls
- Verification checklist
- Related skills
Sekcje z nagłówków SKILL.md, w oryginale · 45 linii, 263 słów
Podgląd SKILL.md
---
name: pyspark-large-scale-batch-processing
description: Use this skill when authoring scalable batch ETL pipelines in Python using PySpark, RDDs, and distributed cluster nodes.
---
# PySpark Large-Scale Batch Processing
## When to use
Use this skill when you need to authoring scalable batch ETL pipelines in Python using PySpark, RDDs, and distributed cluster nodes.
## Prerequisites
- Deep understanding of modern AI/ML systems, data engineering pipelines, or distributed architectures.
- Testing environment with necessary libraries and credentials configured.
## Step-by-step workflow
1. **Analyze data & architectural requirements**: Evaluate throughput, latency, context windows, and schema constraints.
2. **Formulate pipeline / model contracts**: Define strict input/output specifications and validation schemas.
3. **Implement core execution logic**: Construct deterministic transformations, prompt chains, or streaming data flows.
4. **Validate performance & accuracy**: Run automated test assertions, evaluate accuracy metrics, and benchmark throughput.
5. **Enforce observability & guardrails**: Instrument workflows with tracing, logging, rate limits, and fallback strategies.
## Commands / code examples
```python
# Production pipeline and implementation pattern for pyspark-large-scale-batch-processing
import os
def run_pipeline():
print("Executing operational pipeline: pyspark-large-scale-batch-processing")
if __name__ == "__main__":
run_pipeline()
```
## Common mistakes & pitfalls
- Allowing untrusted inputs to bypass validation checks, resulting in data corruption or prompt injection.
- Accumulating unconstrained state in memory during stream processing, leading to Out-Of-Memory (OOM) crashes.
- Neglecting evaluation benchmarks, deploying models or prompts without quantitative quality scoring.
## Verification checklist
- [ ] Pipeline validates input schemas and filters malformed records.
- [ ] Concurrency and memory utilization remain within provisioned boundaries.
- [ ] Performance and accuracy metrics meet predefined SLA targets.
- [ ] Fallback and retry mechanisms handle external API or network interruptions gracefully.
## Related skills
- retrieval-augmented-generation-rag-pipeline
- prompt-injection-defense-guardrails
- apache-kafka-event-streaming-architecture
- distributed-tracing-opentelemetry-sdk
Wersje
W bazie nie ma innych skilli o nazwie pyspark-large-scale-batch-processing.
Migawka bazy z 13.11.2026 · wersja paczki bc2a0a35d7d0 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100apache-spark
Opisuje Apache Spark, rozproszony silnik do przetwarzania wsadowego, SQL i strumieniowego w PySpark, w tym ETL, Parquet z S3 i strumienie z Kafki. - 100pyspark-transformer
Prawdopodobnie przekształca dane w PySpark w ramach potoków danych. - 100spark
Wspiera pracę z Apache Spark: PySpark, Spark SQL, transformacje DataFrame, broadcast joiny i optymalizację klastra przy przetwarzaniu dużych danych i pipeline'ach ETL. - 100pyspark-etl
Podaje dobre praktyki budowy wydajnych, testowalnych potoków ETL w PySpark z Spark SQL i Apache Iceberg: złączenia, funkcje okna i idempotentne scalanie tabel. - 100gcp-spark
Tworzy, optymalizuje i uruchamia kod PySpark i Spark na Managed Spark w Google Cloud (klastry Dataproc i Serverless): notebooki, ETL, modele ML oraz optymalizacja pamięci i wydajności Spark SQL. - 100gcp-spark
Pisze i uruchamia PySpark oraz Spark w notatnikach i Spark Connect na Managed Spark w Google Cloud, z danymi w BigQuery i GCS.