web-scraper
/web-scraper
Wyciąga dane strukturalne z witryn, np. ceny konkurencji, listy produktów i dane kontaktowe, do badań i monitoringu.
- Autor
- guia-matthieu ↗
- Repozytorium
- clawfu-skills ↗
- Licencja
- MIT
- Ostatnia zmiana repozytorium
- 01.10.2026
Ocena i bezpieczeństwo
- Pliki w paczce
- 3
- Skrypty
- 1
- Komentarze HTML
- 0
- Adresy URL w SKILL.md
- 10
Brak sygnałów. Repozytorium zmienione 01.10.2026, bez odwołań do wycofanych modeli i API.
MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.
- 1 skrypt w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.
Skrypty: scripts/main.py
Co robi i kiedy
Wyciąga dane strukturalne z witryn, np. ceny konkurencji, listy produktów i dane kontaktowe, do badań i monitoringu.
Oryginalny opis (EN)
Extract structured data from websites. Use when: collecting competitor pricing; scraping product listings; extracting contact information; gathering research data; monitoring website changes
Jak działa
- When to Use This Skill
- What Claude Does vs What You Decide
- Dependencies
- Commands
- Examples
- CSS Selector Reference
- Ethical Scraping Guidelines
- Skill Boundaries
- Related Skills
- Skill Metadata
Podgląd SKILL.md
---
name: web-scraper
description: "Extract structured data from websites. Use when: collecting competitor pricing; scraping product listings; extracting contact information; gathering research data; monitoring website changes"
license: MIT
metadata:
author: ClawFu
version: 1.0.0
mcp-server: "@clawfu/mcp-skills"
---
# Web Scraper
> Extract structured data from websites using BeautifulSoup and requests - turn any webpage into usable data.
## When to Use This Skill
- **Competitor research** - Scrape pricing, features, positioning
- **Lead generation** - Extract contact info from directories
- **Content audit** - Pull headings, links, meta data
- **Price monitoring** - Track competitor pricing changes
- **Data collection** - Gather research data from multiple sources
## What Claude Does vs What You Decide
| Claude Does | You Decide |
|-------------|------------|
| Structures analysis frameworks | Strategic priorities |
| Synthesizes market data | Competitive positioning |
| Identifies opportunities | Resource allocation |
| Creates strategic options | Final strategy selection |
| Suggests implementation approaches | Execution decisions |
## Dependencies
```bash
pip install beautifulsoup4 requests pandas click lxml
```
## Commands
### Scrape Elements
```bash
python scripts/main.py scrape https://example.com --selector "h1,h2,p"
python scripts/main.py scrape https://example.com --selector ".product-price"
```
### Extract Links
```bash
python scripts/main.py links https://example.com
python scripts/main.py links https://example.com --internal-only
```
### Extract Emails
```bash
python scripts/main.py emails https://example.com
python scripts/main.py emails https://example.com --depth 2
```
### Extract Structured Data
```bash
python scripts/main.py structured https://example.com/article --schema article
python scripts/main.py structured https://example.com/product --schema product
```
## Examples
### Example 1: Scrape Competitor Pricing
```bash
python scripts/main.py scrape https://competitor.com/pricing --selector ".price,.plan-name"
# Output:
# Extracted 6 elements
# 1. Starter - $29/mo
# 2. Pro - $99/mo
# 3. Enterprise - Contact us
```
### Example 2: Extract Article Content
```bash
python scripts/main.py structured https://blog.example.com/post --schema article
# Output: article_data.json
# {
# "title": "How to Scale Your Startup",
# "author": "Jane Doe",
# "date": "2024-01-15",
# "content": "...",
# "word_count": 1523
# }
```
## CSS Selector Reference
| Selector | Description | Example |
|----------|-------------|---------|
| `tag` | Element type | `h1`, `p`, `div` |
| `.class` | Class name | `.price`, `.title` |
| `#id` | Element ID | `#main-content` |
| `tag.class` | Tag with class | `div.product` |
| `tag[attr]` | Has attribute | `a[href]` |
| `parent > child` | Direct child | `ul > li` |
| `tag1, tag2` | Multiple | `h1, h2, h3` |
## Ethical Scraping Guidelines
1. **Check robots.txt** - Respect site's scraping policy
2. **Rate limit** - Don't overload servers (1-2 req/sec)
3. **Identify yourself** - Use descriptive User-Agent
4. **Cache requests** - Don't re-scrape unchanged pages
5. **Terms of Service** - Check if scraping is allowed
## Skill Boundaries
### What This Skill Does Well
- Structuring strategic analysis
- Identifying market opportunities
- Creating strategic frameworks
- Synthesizing competitive data
### What This Skill Cannot Do
- Replace market research
- Guarantee strategic success
- Know proprietary competitor info
- Make executive decisions
## Related Skills
- [competitor-monitor](../competitor-monitor/) - Monitor competitor changes
- [pdf-extractor](../pdf-extractor/) - Extract from PDFs
## Skill Metadata
- **Mode**: centaur
```yaml
category: automation
subcategory: data-extraction
dependencies: [beautifulsoup4, requests, pandas]
difficulty: intermediate
time_saved: 5+ hours/week
```
Pliki w paczce (3)
- SKILL.md 4 KB
- scripts/main.py 11 KB
- scripts/requirements.txt 1 KB
Wersje
| Repozytorium | Wynik | Licencja |
|---|---|---|
| Ta strona · guia-matthieu/clawfu-skills | 100 | MIT |
| TerminalSkills/skills | 100 | Apache-2.0 |
| seaworld008/commonly-used-high-value-skills | 100 | MIT |
| jqaisystems/jqai-ai-skills | 100 | MIT |
| sandbaseai/sandbase-skills | 100 | Apache-2.0 |
| shobcoder/shob | 100 | MIT |
| zocomputer/skills | 100 | MIT |
| skrun-dev/skrun | 90 | MIT |
| LeoYeAI/openclaw-master-skills | 90 | MIT |
Migawka bazy z 13.11.2026 · wersja paczki 37b4d36e9f55 (skrót SHA-256 całej paczki)
Pobrania w ostatnich 30 dniach: 0 · ranking
Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.
Podobne skille
- 100web-scraping
Scrapuje strony, wyciąga dane ustrukturyzowane i automatyzuje przeglądarkę, gdy trzeba pobrać dane z dowolnego adresu URL. - 100firecrawl-scraper
Pobiera dane ze stron przez Firecrawl: wyciąga dane strukturalne, robi zrzuty ekranu, parsuje PDF-y, przetwarza wsadowo adresy URL i crawluje witryny. - 100web-scraper-api
Pobiera dane produktów i wyniki wyszukiwania z wybranych serwisów przez gotową usługę scrapowania z geotargetowaniem. - 90scraper-builder
Buduje produkcyjne scrapery stron przez infrastrukturę Bright Data: analizuje stronę, dobiera API, wyciąga selektory i obsługuje paginację. - 100amazon-product-api-skill
Wyciąga strukturalne listingi produktów z Amazon: tytuły, ASIN, ceny, oceny i specyfikacje, do badań rynku i porównań marek. - 100wigolo
Zbiera informacje z sieci lokalnie: wyszukuje, pobiera strony jako markdown, przeszukuje serwisy, wyciąga dane strukturalne i monitoruje zmiany stron przez serwer MCP wigolo.