Przejdź do treści
Biblioteka skilli
Dane i analityka · Research

crawl

/crawl

Przeszukuje wiele stron jednej witryny z limitem stron, głębokością i filtrami ścieżek, na przykład przy zbieraniu dokumentacji.

Licencja
MIT
Ostatnia zmiana repozytorium
11.11.2026

Ocena i bezpieczeństwo

95/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść30 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
3
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
2
Przestarzałość

Brak sygnałów. Repozytorium zmienione 11.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Przeszukuje wiele stron jednej witryny z limitem stron, głębokością i filtrami ścieżek, na przykład przy zbieraniu dokumentacji.

Oryginalny opis (EN)

Crawl multiple pages of a website with Scrapeless, controlling page limits, traversal depth, path filters, and output formats. Use for site-wide documentation collection or checking an existing crawl task.

Jak działa

  1. Setup
  2. Run and retrieve
Sekcje z nagłówków SKILL.md, w oryginale · 21 linii, 243 słów
Podgląd SKILL.md
---
name: crawl
description: Crawl multiple pages of a website with Scrapeless, controlling page limits, traversal depth, path filters, and output formats. Use for site-wide documentation collection or checking an existing crawl task.
license: MIT
metadata:
  runtime: Requires Node.js 22+, the scrapeless CLI, a Scrapeless API token, and network access.
---

# Crawl

Use `scrapeless crawl` for multi-page collection. Preserve the user's scope; for a small trial without a specified limit, explicitly use a modest page limit such as 10 and keep external links disabled.

## Setup

Check `scrapeless --version`; install with `npm install -g scrapeless` if missing, or use `npx --package scrapeless scrapeless`. Credentials resolve from `~/.scrapeless/config.json` (`apiKey`, legacy `api_token`), then `SCRAPELESS_API_TOKEN`, then `SCRAPELESS_API_KEY`. `SCRAPELESS_CONFIG_PATH` overrides the config path. `.env` is not auto-loaded. Use `scrapeless auth status` for authentication diagnostics without displaying the key.

## Run and retrieve

```bash
scrapeless crawl https://example.com --limit 10 --max-depth 2 --allow-external-links false --formats markdown --json -o crawl.json
scrapeless crawl https://example.com --limit 10 --include-paths 'docs/.*' --exclude-paths 'private/.*' --no-wait
scrapeless crawl result TASK_ID --wait --timeout 300 --interval 5 --json
```

Read [crawl options](references/options.md) for filtering, page extraction, browser/proxy settings, or JSON bodies. Boolean options require explicit values except `--no-wait` and result's `--wait`. Polling durations are seconds; `--wait-for` and `--scrape-timeout` are milliseconds.

Creation polls every 5 seconds for up to 300 seconds by default. `--no-wait` returns the new task ID immediately. `crawl result TASK_ID` performs one read unless `--wait` is supplied. `completed` and `failed` are terminal statuses. Timeout can exit zero with partial data and a pending status: retain the ID and resume the existing task instead of creating a duplicate. Report partial results as partial; only claim completion after `completed`. On failure, show the returned reason and task ID. Task IDs/progress use stderr; JSON results use stdout or `-o`.
Pliki w paczce (3)
  • SKILL.md 2 KB
  • agents/openai.yaml 1 KB
  • references/options.md 2 KB

Wersje

W bazie nie ma innych skilli o nazwie crawl.

Migawka bazy z 13.11.2026 · wersja paczki 1bb9d9ce6fc7 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100firecrawl-crawl
    Pobiera wiele stron z jednej witryny lub sekcji, np. całej dokumentacji, do dalszego przetwarzania.
  • 100firecrawl-crawl
    Pobiera hurtowo treść z całej witryny lub jej sekcji przez Firecrawl, z limitem głębokości i filtrem ścieżek.
  • 100tavily-crawl
    Crawluje ograniczony zestaw stron jednej witryny przez Tavily, na przykład do pobrania dokumentacji, zebrania sekcji serwisu lub semantycznej ekstrakcji wielu stron.
  • 100diffbot-crawl
    Przeszukuje całe witryny przez Diffbot i zarządza zadaniami crawlera: tworzy, wyświetla i usuwa joby pobierające ustrukturyzowaną treść.
  • 90cf-crawl
    Pobiera zawartość witryny przez funkcję crawl w Cloudflare Browser Rendering, by zebrać strony do dalszego przetwarzania.
  • 100tavily-crawl
    Crawluje strony i wyciąga treść z wielu podstron przez CLI Tavily: pobiera dokumentację, zapisuje serwis jako lokalne pliki markdown, z kontrolą głębokości, szerokości i filtrów ścieżek.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.