web-crawl
/web-crawl
Pobiera treść stron do czystego markdownu w piaskownicy, np. przy migracji starej strony lub audycie.
- Autor
- pshiuu ↗
- Repozytorium
- agent-brain ↗
- Licencja
- Apache-2.0
- Ostatnia zmiana repozytorium
- 09.11.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 1
- Skrypty
- 0
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 2
Brak sygnałów. Repozytorium zmienione 09.11.2026, bez odwołań do wycofanych modeli i API.
Apache-2.0, otwarta: można używać i zmieniać, z zachowaniem licencji i informacji o zmianach.
Co robi i kiedy
Pobiera treść stron do czystego markdownu w piaskownicy, np. przy migracji starej strony lub audycie.
Oryginalny opis (EN)
Crawl web pages to clean markdown inside the sandbox with brain-crawl (crawl4ai), for migrating an old site's content, auditing one, or reading reference sites. Use whenever a phase needs the actual text of pages rather than a screenshot or a guess.
Jak działa
- When to reach for it
- Rules
Podgląd SKILL.md
--- name: web-crawl description: Crawl web pages to clean markdown inside the sandbox with brain-crawl (crawl4ai), for migrating an old site's content, auditing one, or reading reference sites. Use whenever a phase needs the actual text of pages rather than a screenshot or a guess. --- # Crawling pages `brain-crawl` turns pages into markdown you can quote and cite. Run it in the project root, inside the sandbox. ```bash brain-crawl https://old-site.example/about # one or more URLs brain-crawl --sitemap https://old-site.example/sitemap.xml ``` One file per URL under `crawl/`, named for the URL, so a re-crawl overwrites rather than piling up. A page it could not extract is reported `✗` and no file is written — an empty file would read as an empty page. Under the `✗` it prints the crawler's own reason, so read that before concluding the sites blocked you. First run installs crawl4ai (~20s, ~730 MB) and the Chromium headless shell its Playwright pins — a different build from the image's, and without it every URL comes back `✗`. It is deliberately not in the template image: most projects never crawl. ## When to reach for it - **Content migration.** Crawl the whole sitemap before writing anything. The old site's words are the source of truth; do not retype or paraphrase from memory. - **Auditing a site.** Crawl the pages you are judging so findings quote real text. - **Reference sites.** Crawl for structure and copy. For how a site *looks*, take screenshots instead — `brain-shoot` and the `visual-qa` skill. ## Rules - **Cite the file, never the URL you did not crawl.** A claim about a page needs `crawl/<file>.md` behind it. This is what stops invented content. - Crawl once per phase, not per question. The files persist; re-read them. - A page behind a login, a form, or heavy interaction will come back thin or empty. Say so in your phase summary rather than filling the gap from imagination. - JavaScript-rendered pages are fine — it drives a real browser. - `crawl/` is output, not source. Keep it out of the repo's history unless the human asks: add it to `.git/info/exclude`. - Only crawl what the brief points at. Someone else's site is not yours to hammer: a sitemap of hundreds of pages is a decision to check with the human first.
Wersje
W bazie nie ma innych skilli o nazwie web-crawl.
Migawka bazy z 13.11.2026 · wersja paczki cedb2b57d190 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100seo-firecrawl
Przeszukuje całą witrynę: crawl, scraping i mapowanie stron przez serwer MCP Firecrawl, także z renderowaniem JS. - 100firecrawl-crawl
Pobiera wiele stron z jednej witryny lub sekcji, np. całej dokumentacji, do dalszego przetwarzania. - 100web-scraper
Scrapuje strony, przeszukuje serwisy, wyciąga ustrukturyzowane dane i robi zrzuty ekranu przez SandBase, także z konwersją stron do markdown. - 90cf-crawl
Pobiera zawartość witryny przez funkcję crawl w Cloudflare Browser Rendering, by zebrać strony do dalszego przetwarzania. - 100seo-firecrawl
Skanuje całe witryny, scrapuje strony i mapuje serwis przez Firecrawl MCP: uszkodzone linki, struktura witryny, odkrywanie stron i renderowanie JS. - 100seo-crawl-data
Opisuje podłączenie crawlera, scrapera lub masowego Lighthouse do SEO na dużą skalę: mapa adresów, strony renderowane w JS, uszkodzone linki, strony osierocone i pomiary wszystkich tras.