Przejdź do treści
Biblioteka skilli
Dane i analityka · Budowanie i kod

dagster-asset-based-data-orchestration

/dagster-asset-based-data-orchestration

Projektuje potoki danych oparte na zasobach Dagster, z partycjami i harmonogramami.

Licencja
MIT
Ostatnia zmiana repozytorium
28.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
0
Przestarzałość

Brak sygnałów. Repozytorium zmienione 28.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Projektuje potoki danych oparte na zasobach Dagster, z partycjami i harmonogramami.

Oryginalny opis (EN)

Use this skill when designing data pipelines centered on observable, software-defined data assets and partition schedules via Dagster.

Jak działa

  1. When to use
  2. Prerequisites
  3. Step-by-step workflow
  4. Commands / code examples
  5. Common mistakes & pitfalls
  6. Verification checklist
  7. Related skills
Sekcje z nagłówków SKILL.md, w oryginale · 45 linii, 263 słów
Podgląd SKILL.md
---
name: dagster-asset-based-data-orchestration
description: Use this skill when designing data pipelines centered on observable, software-defined data assets and partition schedules via Dagster.
---
# Dagster Asset-Based Data Orchestration

## When to use
Use this skill when you need to designing data pipelines centered on observable, software-defined data assets and partition schedules via Dagster.

## Prerequisites
- Deep understanding of modern AI/ML systems, data engineering pipelines, or distributed architectures.
- Testing environment with necessary libraries and credentials configured.

## Step-by-step workflow
1. **Analyze data & architectural requirements**: Evaluate throughput, latency, context windows, and schema constraints.
2. **Formulate pipeline / model contracts**: Define strict input/output specifications and validation schemas.
3. **Implement core execution logic**: Construct deterministic transformations, prompt chains, or streaming data flows.
4. **Validate performance & accuracy**: Run automated test assertions, evaluate accuracy metrics, and benchmark throughput.
5. **Enforce observability & guardrails**: Instrument workflows with tracing, logging, rate limits, and fallback strategies.

## Commands / code examples
```python
# Production pipeline and implementation pattern for dagster-asset-based-data-orchestration
import os

def run_pipeline():
    print("Executing operational pipeline: dagster-asset-based-data-orchestration")

if __name__ == "__main__":
    run_pipeline()
```

## Common mistakes & pitfalls
- Allowing untrusted inputs to bypass validation checks, resulting in data corruption or prompt injection.
- Accumulating unconstrained state in memory during stream processing, leading to Out-Of-Memory (OOM) crashes.
- Neglecting evaluation benchmarks, deploying models or prompts without quantitative quality scoring.

## Verification checklist
- [ ] Pipeline validates input schemas and filters malformed records.
- [ ] Concurrency and memory utilization remain within provisioned boundaries.
- [ ] Performance and accuracy metrics meet predefined SLA targets.
- [ ] Fallback and retry mechanisms handle external API or network interruptions gracefully.

## Related skills
- retrieval-augmented-generation-rag-pipeline
- prompt-injection-defense-guardrails
- apache-kafka-event-streaming-architecture
- distributed-tracing-opentelemetry-sdk

Wersje

W bazie nie ma innych skilli o nazwie dagster-asset-based-data-orchestration.

Migawka bazy z 13.11.2026 · wersja paczki e4b5fd6aae72 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 1 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100building-dagster-assets
    Buduje potoki Dagster na software-defined assets: zależności assetów, partycje, zasoby i IO managery, asset checks, harmonogramy i sensory, a także migrację z orkiestracji opartej na zadaniach.
  • 100dagster-pipeline-creator
    Prawdopodobnie tworzy potoki danych w Dagsterze w ramach kategorii potoków danych.
  • 100dagster-and-prefect-pipeline-authoring
    Tworzy potoki danych w modelu zasobów Dagster lub przepływów Prefect i pomaga zdecydować, kiedy któryś z nich pasuje lepiej niż Airflow.
  • 100dagster-asset-checks-to-orchestra
    Przenosi logikę jakości danych z Dagster (asset checks, testy dbt, pandera, Great Expectations) do konfiguracji Orchestra.
  • 82dagster-to-zenml-migration
    Migruje assety, opy, grafy, joby i przepływy Dagster do idiomatycznych potoków ZenML, mapując pojęcia, planując granice assetów i oznaczając wzorce nieobsługiwane do przeglądu przez człowieka.
  • 100fivetran-dagster-to-orchestra
    Przekształca integrację Dagster z Fivetran (FivetranResource, FivetranWorkspace, build_fivetran_assets) w równoważne zadanie potoku Orchestra.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.