databricks-workspace
/databricks-workspace
Odpytuje Databricks przez Spark SQL i Unity Catalog oraz przenosi pliki, notatniki i zadania między projektem lokalnym a obszarem roboczym.
- Autor
- afonsoalrocha ↗
- Repozytorium
- skills ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 12.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 2
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 2
Brak sygnałów. Repozytorium zmienione 12.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Odpytuje Databricks przez Spark SQL i Unity Catalog oraz przenosi pliki, notatniki i zadania między projektem lokalnym a obszarem roboczym.
Oryginalny opis (EN)
Use when querying Databricks (Spark SQL / Databricks SQL, Unity Catalog metadata) or moving files, notebooks and jobs between a local project and a Databricks workspace via the CLI or a SQL client.
Jak działa
- Access order
- Invariants
- Query flow
- Routes
Podgląd SKILL.md
---
name: databricks-workspace
description: "Use when querying Databricks (Spark SQL / Databricks SQL, Unity Catalog metadata) or moving files, notebooks and jobs between a local project and a Databricks workspace via the CLI or a SQL client."
---
# Databricks workspace
## Access order
1. **CLI** (`databricks`) for workspace files, jobs, clusters and warehouses.
2. **Project SQL client** (a thin module over the SQL Statement API or `databricks-sql-connector`) for queries and extraction.
3. **REST API directly** only when neither covers the case. Avoid heavy SDK layers for simple calls.
## Invariants
- Dialect is Spark SQL / Databricks SQL on Delta; never MySQL/Postgres syntax.
- Always fully qualify names: `<catalog>.<schema>.<table>`.
- Apply skill `sql-performance` before any SQL and `python-data-scripts` before any Python.
- Metadata first (catalog -> schema -> table -> columns); it is free and reads no data.
- Pass the SQL warehouse id explicitly from configuration (`DATABRICKS_WAREHOUSE_ID`); use the warehouse meant for analysis, not one reserved for other workloads.
- Inline results from the Statement API can be truncated silently: assert the expected row count.
- A shared sandbox schema is scratch space: fully qualified names, never a canonical source, never the final layer for dashboards.
- Credentials from environment (`DATABRICKS_HOST`, `DATABRICKS_TOKEN`) or a CLI profile in `~/.databrickscfg`; never hard-coded, never printed.
- To check configuration, list only the environment variable names (a script that prints names by prefix); never `cat` a secrets file or print values.
- A local timeout does not cancel the statement: cancel it explicitly.
- Save extracts with the request (Parquet for intermediate, CSV only for small deliverables).
## Query flow
```python
# 1. metadata (no data read)
list_catalogs(); list_schemas("<catalog>"); list_tables("<catalog>", "<schema>")
get_table_info("<catalog>", "<schema>", "<table>")
# 2. query, warehouse id from config
df = execute_sql("SELECT ... FROM <catalog>.<schema>.<table> WHERE ...",
warehouse_id=os.environ["DATABRICKS_WAREHOUSE_ID"])
```
## Routes
Read only the reference for the task.
| If the task is... | Read |
|-------------------|------|
| CLI commands, importing/exporting files and notebooks, syncing a project folder | `references/cli-workspace.md` |
| Large result: inline limit, keyset paging, checkpoint | skill `sql-performance`, keyset extraction |
| Profiling a huge partitioned table | skill `sql-performance`, large-table profiling |
| Reading a Spark plan / query profile | skill `sql-performance`, explain by engine |
Docs: https://docs.databricks.com/api/workspace/introduction ,
https://docs.databricks.com/en/dev-tools/cli/index.html
Pliki w paczce (2)
- SKILL.md 3 KB
- references/cli-workspace.md 1 KB
Wersje
W bazie nie ma innych skilli o nazwie databricks-workspace.
Migawka bazy z 13.11.2026 · wersja paczki 30a15b0af46a (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 90databricks-spark
Pomaga pisać i sprawdzać kod Spark i Databricks: wydajność, układ tabel Delta, Unity Catalog, koszty, strumienie i testy. - 100matlab-connect-databricks
Łączy MATLAB z Databricks przez Spark (Databricks Connect) lub JDBC: uwierzytelnianie, sesje Spark, odczyt tabel Unity Catalog z filtrowaniem po stronie serwera oraz połączenia z SQL Warehouse. - 100databricks-cli
Prowadzi pracę z Databricks CLI: workspace'y, klastry, zadania, potoki, Unity Catalog, SQL warehouses, endpointy serwujące, sekrety i bundle. - 100databricks-migration
Przenosi notatniki i zadania Databricks do Fabric: dbutils na notebookutils, sekrety na Key Vault, DBFS na OneLake, Unity Catalog na Lakehouse i Jobs oraz DLT na Spark Job Definitions i Pipelines. - 100optimizing-databricks-sql
Analizuje zapytania DBSQL, także osadzone w notebookach, pod kątem antywzorców, błędów lintera i problemów wydajnościowych, z użyciem wiedzy o dialekcie Databricks, Delta, Photon i Unity Catalog. - 100materialize-databricks-create
Tworzy materializację Estuary, która strumieniuje kolekcje do tabel Databricks przez Unity Catalog, gdy Databricks ma być miejscem docelowym danych.