airbyte-open-source-data-integration
/airbyte-open-source-data-integration
Konfiguruje potoki ELT między API SaaS, bazami relacyjnymi a hurtowniami danych przez Airbyte, z synchronizacją i obsługą błędów.
- Autor
- nextboxis ↗
- Repozytorium
- library-skill-agents ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 28.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 0
Brak sygnałów. Repozytorium zmienione 28.10.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Konfiguruje potoki ELT między API SaaS, bazami relacyjnymi a hurtowniami danych przez Airbyte, z synchronizacją i obsługą błędów.
Oryginalny opis (EN)
Use this skill when configuring ELT synchronization pipelines between SaaS APIs, relational databases, and modern data warehouses via Airbyte.
Jak działa
- When to use
- Prerequisites
- Step-by-step workflow
- Commands / code examples
- Common mistakes & pitfalls
- Verification checklist
- Related skills
Podgląd SKILL.md
---
name: airbyte-open-source-data-integration
description: Use this skill when configuring ELT synchronization pipelines between SaaS APIs, relational databases, and modern data warehouses via Airbyte.
---
# Airbyte Open-Source ELT Data Integration
## When to use
Use this skill when you need to configuring ELT synchronization pipelines between SaaS APIs, relational databases, and modern data warehouses via Airbyte.
## Prerequisites
- Deep understanding of modern AI/ML systems, data engineering pipelines, or distributed architectures.
- Testing environment with necessary libraries and credentials configured.
## Step-by-step workflow
1. **Analyze data & architectural requirements**: Evaluate throughput, latency, context windows, and schema constraints.
2. **Formulate pipeline / model contracts**: Define strict input/output specifications and validation schemas.
3. **Implement core execution logic**: Construct deterministic transformations, prompt chains, or streaming data flows.
4. **Validate performance & accuracy**: Run automated test assertions, evaluate accuracy metrics, and benchmark throughput.
5. **Enforce observability & guardrails**: Instrument workflows with tracing, logging, rate limits, and fallback strategies.
## Commands / code examples
```python
# Production pipeline and implementation pattern for airbyte-open-source-data-integration
import os
def run_pipeline():
print("Executing operational pipeline: airbyte-open-source-data-integration")
if __name__ == "__main__":
run_pipeline()
```
## Common mistakes & pitfalls
- Allowing untrusted inputs to bypass validation checks, resulting in data corruption or prompt injection.
- Accumulating unconstrained state in memory during stream processing, leading to Out-Of-Memory (OOM) crashes.
- Neglecting evaluation benchmarks, deploying models or prompts without quantitative quality scoring.
## Verification checklist
- [ ] Pipeline validates input schemas and filters malformed records.
- [ ] Concurrency and memory utilization remain within provisioned boundaries.
- [ ] Performance and accuracy metrics meet predefined SLA targets.
- [ ] Fallback and retry mechanisms handle external API or network interruptions gracefully.
## Related skills
- retrieval-augmented-generation-rag-pipeline
- prompt-injection-defense-guardrails
- apache-kafka-event-streaming-architecture
- distributed-tracing-opentelemetry-sdk
Wersje
W bazie nie ma innych skilli o nazwie airbyte-open-source-data-integration.
Migawka bazy z 13.11.2026 · wersja paczki d51cbd4e0bdb (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100airbyte
Obsługuje Airbyte, platformę integracji danych kopiującą dane z SaaS, baz i API do hurtowni i jezior: instalacja lokalna z abctl, źródła, destynacje, połączenia przez API, synchronizacje przyrostowe i własne konektory w Python CDK. - 100airbyte
Zarządza połączeniami i ingestią danych w Airbyte przez serwer Airbyte Agent MCP, w tym audytem, budową i migracją wdrożeń ze źródłami oraz miejscami docelowymi. - 100migrate-airbyte-connector
Przenosi konektor źródła Airbyte do konektora Fivetran Connector SDK, łącznie z plikami konfiguracji i stanu. - 100migrate-airbyte-connector
Przenosi konektor źródła Airbyte do konektora Fivetran Connector SDK, łącznie z plikami konfiguracji i stanu. - 100airbyte-cloud-dagster-to-orchestra
Przepisuje integrację Dagster z Airbyte Cloud, opartą na AirbyteCloudResource i build_airbyte_assets, na równoważne zadanie potoku w Orchestra. - 100airbyte-server-dagster-to-orchestra
Przepisuje integrację Dagster z samodzielnie hostowanym serwerem Airbyte (AirbyteResource z hostem i portem oraz build_airbyte_assets) na zadanie potoku Orchestra.