Przejdź do treści
Biblioteka skilli
Dane i analityka · Research

web-scraper

/web-scraper

Wyciąga dane strukturalne z witryn, np. ceny konkurencji, listy produktów i dane kontaktowe, do badań i monitoringu.

Repozytorium
clawfu-skills ↗
Licencja
MIT
Ostatnia zmiana repozytorium
01.10.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
3
Skrypty
1
Komentarze HTML
0
Adresy URL w SKILL.md
10
Przestarzałość

Brak sygnałów. Repozytorium zmienione 01.10.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co sprawdzić przed instalacją
  • 1 skrypt w paczce. Przejrzyj je przed instalacją, bo Claude może je uruchomić.

Skrypty: scripts/main.py

Co robi i kiedy

Wyciąga dane strukturalne z witryn, np. ceny konkurencji, listy produktów i dane kontaktowe, do badań i monitoringu.

Oryginalny opis (EN)

Extract structured data from websites. Use when: collecting competitor pricing; scraping product listings; extracting contact information; gathering research data; monitoring website changes

Jak działa

  1. When to Use This Skill
  2. What Claude Does vs What You Decide
  3. Dependencies
  4. Commands
  5. Examples
  6. CSS Selector Reference
  7. Ethical Scraping Guidelines
  8. Skill Boundaries
  9. Related Skills
  10. Skill Metadata
Sekcje z nagłówków SKILL.md, w oryginale · 134 linii, 490 słów
Podgląd SKILL.md
---
name: web-scraper
description: "Extract structured data from websites. Use when: collecting competitor pricing; scraping product listings; extracting contact information; gathering research data; monitoring website changes"
license: MIT
metadata:
  author: ClawFu
  version: 1.0.0
  mcp-server: "@clawfu/mcp-skills"
---

# Web Scraper

> Extract structured data from websites using BeautifulSoup and requests - turn any webpage into usable data.

## When to Use This Skill

- **Competitor research** - Scrape pricing, features, positioning
- **Lead generation** - Extract contact info from directories
- **Content audit** - Pull headings, links, meta data
- **Price monitoring** - Track competitor pricing changes
- **Data collection** - Gather research data from multiple sources


## What Claude Does vs What You Decide

| Claude Does | You Decide |
|-------------|------------|
| Structures analysis frameworks | Strategic priorities |
| Synthesizes market data | Competitive positioning |
| Identifies opportunities | Resource allocation |
| Creates strategic options | Final strategy selection |
| Suggests implementation approaches | Execution decisions |

## Dependencies

```bash
pip install beautifulsoup4 requests pandas click lxml
```

## Commands

### Scrape Elements
```bash
python scripts/main.py scrape https://example.com --selector "h1,h2,p"
python scripts/main.py scrape https://example.com --selector ".product-price"
```

### Extract Links
```bash
python scripts/main.py links https://example.com
python scripts/main.py links https://example.com --internal-only
```

### Extract Emails
```bash
python scripts/main.py emails https://example.com
python scripts/main.py emails https://example.com --depth 2
```

### Extract Structured Data
```bash
python scripts/main.py structured https://example.com/article --schema article
python scripts/main.py structured https://example.com/product --schema product
```

## Examples

### Example 1: Scrape Competitor Pricing
```bash
python scripts/main.py scrape https://competitor.com/pricing --selector ".price,.plan-name"

# Output:
# Extracted 6 elements
# 1. Starter - $29/mo
# 2. Pro - $99/mo
# 3. Enterprise - Contact us
```

### Example 2: Extract Article Content
```bash
python scripts/main.py structured https://blog.example.com/post --schema article

# Output: article_data.json
# {
#   "title": "How to Scale Your Startup",
#   "author": "Jane Doe",
#   "date": "2024-01-15",
#   "content": "...",
#   "word_count": 1523
# }
```

## CSS Selector Reference

| Selector | Description | Example |
|----------|-------------|---------|
| `tag` | Element type | `h1`, `p`, `div` |
| `.class` | Class name | `.price`, `.title` |
| `#id` | Element ID | `#main-content` |
| `tag.class` | Tag with class | `div.product` |
| `tag[attr]` | Has attribute | `a[href]` |
| `parent > child` | Direct child | `ul > li` |
| `tag1, tag2` | Multiple | `h1, h2, h3` |

## Ethical Scraping Guidelines

1. **Check robots.txt** - Respect site's scraping policy
2. **Rate limit** - Don't overload servers (1-2 req/sec)
3. **Identify yourself** - Use descriptive User-Agent
4. **Cache requests** - Don't re-scrape unchanged pages
5. **Terms of Service** - Check if scraping is allowed

## Skill Boundaries

### What This Skill Does Well
- Structuring strategic analysis
- Identifying market opportunities
- Creating strategic frameworks
- Synthesizing competitive data

### What This Skill Cannot Do
- Replace market research
- Guarantee strategic success
- Know proprietary competitor info
- Make executive decisions

## Related Skills

- [competitor-monitor](../competitor-monitor/) - Monitor competitor changes
- [pdf-extractor](../pdf-extractor/) - Extract from PDFs

## Skill Metadata


- **Mode**: centaur
```yaml
category: automation
subcategory: data-extraction
dependencies: [beautifulsoup4, requests, pandas]
difficulty: intermediate
time_saved: 5+ hours/week
```
Pliki w paczce (3)
  • SKILL.md 4 KB
  • scripts/main.py 11 KB
  • scripts/requirements.txt 1 KB

Wersje

RepozytoriumWynikLicencja
Ta strona · guia-matthieu/clawfu-skills100MIT
TerminalSkills/skills100Apache-2.0
seaworld008/commonly-used-high-value-skills100MIT
jqaisystems/jqai-ai-skills100MIT
sandbaseai/sandbase-skills100Apache-2.0
shobcoder/shob100MIT
zocomputer/skills100MIT
skrun-dev/skrun90MIT
LeoYeAI/openclaw-master-skills90MIT

Migawka bazy z 13.11.2026 · wersja paczki 37b4d36e9f55 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100web-scraping
    Scrapuje strony, wyciąga dane ustrukturyzowane i automatyzuje przeglądarkę, gdy trzeba pobrać dane z dowolnego adresu URL.
  • 100firecrawl-scraper
    Pobiera dane ze stron przez Firecrawl: wyciąga dane strukturalne, robi zrzuty ekranu, parsuje PDF-y, przetwarza wsadowo adresy URL i crawluje witryny.
  • 100web-scraper-api
    Pobiera dane produktów i wyniki wyszukiwania z wybranych serwisów przez gotową usługę scrapowania z geotargetowaniem.
  • 90scraper-builder
    Buduje produkcyjne scrapery stron przez infrastrukturę Bright Data: analizuje stronę, dobiera API, wyciąga selektory i obsługuje paginację.
  • 100amazon-product-api-skill
    Wyciąga strukturalne listingi produktów z Amazon: tytuły, ASIN, ceny, oceny i specyfikacje, do badań rynku i porównań marek.
  • 100wigolo
    Zbiera informacje z sieci lokalnie: wyszukuje, pobiera strony jako markdown, przeszukuje serwisy, wyciąga dane strukturalne i monitoruje zmiany stron przez serwer MCP wigolo.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.