crawl
/crawl
Przeszukuje wiele stron jednej witryny z limitem stron, głębokością i filtrami ścieżek, na przykład przy zbieraniu dokumentacji.
- Autor
- scrapeless-ai ↗
- Repozytorium
- scrapeless-skills ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 11.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 3
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 2
Brak sygnałów. Repozytorium zmienione 11.11.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
Co robi i kiedy
Przeszukuje wiele stron jednej witryny z limitem stron, głębokością i filtrami ścieżek, na przykład przy zbieraniu dokumentacji.
Oryginalny opis (EN)
Crawl multiple pages of a website with Scrapeless, controlling page limits, traversal depth, path filters, and output formats. Use for site-wide documentation collection or checking an existing crawl task.
Jak działa
- Setup
- Run and retrieve
Podgląd SKILL.md
--- name: crawl description: Crawl multiple pages of a website with Scrapeless, controlling page limits, traversal depth, path filters, and output formats. Use for site-wide documentation collection or checking an existing crawl task. license: MIT metadata: runtime: Requires Node.js 22+, the scrapeless CLI, a Scrapeless API token, and network access. --- # Crawl Use `scrapeless crawl` for multi-page collection. Preserve the user's scope; for a small trial without a specified limit, explicitly use a modest page limit such as 10 and keep external links disabled. ## Setup Check `scrapeless --version`; install with `npm install -g scrapeless` if missing, or use `npx --package scrapeless scrapeless`. Credentials resolve from `~/.scrapeless/config.json` (`apiKey`, legacy `api_token`), then `SCRAPELESS_API_TOKEN`, then `SCRAPELESS_API_KEY`. `SCRAPELESS_CONFIG_PATH` overrides the config path. `.env` is not auto-loaded. Use `scrapeless auth status` for authentication diagnostics without displaying the key. ## Run and retrieve ```bash scrapeless crawl https://example.com --limit 10 --max-depth 2 --allow-external-links false --formats markdown --json -o crawl.json scrapeless crawl https://example.com --limit 10 --include-paths 'docs/.*' --exclude-paths 'private/.*' --no-wait scrapeless crawl result TASK_ID --wait --timeout 300 --interval 5 --json ``` Read [crawl options](references/options.md) for filtering, page extraction, browser/proxy settings, or JSON bodies. Boolean options require explicit values except `--no-wait` and result's `--wait`. Polling durations are seconds; `--wait-for` and `--scrape-timeout` are milliseconds. Creation polls every 5 seconds for up to 300 seconds by default. `--no-wait` returns the new task ID immediately. `crawl result TASK_ID` performs one read unless `--wait` is supplied. `completed` and `failed` are terminal statuses. Timeout can exit zero with partial data and a pending status: retain the ID and resume the existing task instead of creating a duplicate. Report partial results as partial; only claim completion after `completed`. On failure, show the returned reason and task ID. Task IDs/progress use stderr; JSON results use stdout or `-o`.
Pliki w paczce (3)
- SKILL.md 2 KB
- agents/openai.yaml 1 KB
- references/options.md 2 KB
Wersje
W bazie nie ma innych skilli o nazwie crawl.
Migawka bazy z 13.11.2026 · wersja paczki 1bb9d9ce6fc7 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100firecrawl-crawl
Pobiera wiele stron z jednej witryny lub sekcji, np. całej dokumentacji, do dalszego przetwarzania. - 100firecrawl-crawl
Pobiera hurtowo treść z całej witryny lub jej sekcji przez Firecrawl, z limitem głębokości i filtrem ścieżek. - 100tavily-crawl
Crawluje ograniczony zestaw stron jednej witryny przez Tavily, na przykład do pobrania dokumentacji, zebrania sekcji serwisu lub semantycznej ekstrakcji wielu stron. - 100diffbot-crawl
Przeszukuje całe witryny przez Diffbot i zarządza zadaniami crawlera: tworzy, wyświetla i usuwa joby pobierające ustrukturyzowaną treść. - 90cf-crawl
Pobiera zawartość witryny przez funkcję crawl w Cloudflare Browser Rendering, by zebrać strony do dalszego przetwarzania. - 100tavily-crawl
Crawluje strony i wyciąga treść z wielu podstron przez CLI Tavily: pobiera dokumentację, zapisuje serwis jako lokalne pliki markdown, z kontrolą głębokości, szerokości i filtrów ścieżek.