Przejdź do treści
Biblioteka skilli
Marketing i treści · Konwersja i formaty

web-crawl

/web-crawl

Pobiera treść stron do czystego markdownu w piaskownicy, np. przy migracji starej strony lub audycie.

Repozytorium
agent-brain ↗
Licencja
Apache-2.0
Ostatnia zmiana repozytorium
09.11.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
2
Przestarzałość

Brak sygnałów. Repozytorium zmienione 09.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.

Co robi i kiedy

Pobiera treść stron do czystego markdownu w piaskownicy, np. przy migracji starej strony lub audycie.

Oryginalny opis (EN)

Crawl web pages to clean markdown inside the sandbox with brain-crawl (crawl4ai), for migrating an old site's content, auditing one, or reading reference sites. Use whenever a phase needs the actual text of pages rather than a screenshot or a guess.

Jak działa

  1. When to reach for it
  2. Rules
Sekcje z nagłówków SKILL.md, w oryginale · 41 linii, 339 słów
Podgląd SKILL.md
---
name: web-crawl
description: Crawl web pages to clean markdown inside the sandbox with brain-crawl (crawl4ai), for migrating an old site's content, auditing one, or reading reference sites. Use whenever a phase needs the actual text of pages rather than a screenshot or a guess.
---

# Crawling pages

`brain-crawl` turns pages into markdown you can quote and cite. Run it in the project
root, inside the sandbox.

```bash
brain-crawl https://old-site.example/about            # one or more URLs
brain-crawl --sitemap https://old-site.example/sitemap.xml
```

One file per URL under `crawl/`, named for the URL, so a re-crawl overwrites rather
than piling up. A page it could not extract is reported `✗` and no file is written —
an empty file would read as an empty page. Under the `✗` it prints the crawler's own
reason, so read that before concluding the sites blocked you.

First run installs crawl4ai (~20s, ~730 MB) and the Chromium headless shell its
Playwright pins — a different build from the image's, and without it every URL comes
back `✗`. It is deliberately not in the template image: most projects never crawl.

## When to reach for it

- **Content migration.** Crawl the whole sitemap before writing anything. The old
  site's words are the source of truth; do not retype or paraphrase from memory.
- **Auditing a site.** Crawl the pages you are judging so findings quote real text.
- **Reference sites.** Crawl for structure and copy. For how a site *looks*, take
  screenshots instead — `brain-shoot` and the `visual-qa` skill.

## Rules

- **Cite the file, never the URL you did not crawl.** A claim about a page needs
  `crawl/<file>.md` behind it. This is what stops invented content.
- Crawl once per phase, not per question. The files persist; re-read them.
- A page behind a login, a form, or heavy interaction will come back thin or empty.
  Say so in your phase summary rather than filling the gap from imagination.
- JavaScript-rendered pages are fine — it drives a real browser.
- `crawl/` is output, not source. Keep it out of the repo's history unless the human
  asks: add it to `.git/info/exclude`.
- Only crawl what the brief points at. Someone else's site is not yours to hammer:
  a sitemap of hundreds of pages is a decision to check with the human first.

Wersje

W bazie nie ma innych skilli o nazwie web-crawl.

Migawka bazy z 13.11.2026 · wersja paczki cedb2b57d190 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100seo-firecrawl
    Przeszukuje całą witrynę: crawl, scraping i mapowanie stron przez serwer MCP Firecrawl, także z renderowaniem JS.
  • 100firecrawl-crawl
    Pobiera wiele stron z jednej witryny lub sekcji, np. całej dokumentacji, do dalszego przetwarzania.
  • 100web-scraper
    Scrapuje strony, przeszukuje serwisy, wyciąga ustrukturyzowane dane i robi zrzuty ekranu przez SandBase, także z konwersją stron do markdown.
  • 90cf-crawl
    Pobiera zawartość witryny przez funkcję crawl w Cloudflare Browser Rendering, by zebrać strony do dalszego przetwarzania.
  • 100seo-firecrawl
    Skanuje całe witryny, scrapuje strony i mapuje serwis przez Firecrawl MCP: uszkodzone linki, struktura witryny, odkrywanie stron i renderowanie JS.
  • 100seo-crawl-data
    Opisuje podłączenie crawlera, scrapera lub masowego Lighthouse do SEO na dużą skalę: mapa adresów, strony renderowane w JS, uszkodzone linki, strony osierocone i pomiary wszystkich tras.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.