Przejdź do treści
Biblioteka skilli
Programowanie · Integracja z narzędziem

scrapfly-sdk-typescript

/scrapfly-sdk-typescript

Pobiera strony z TypeScriptu lub JavaScriptu przez SDK Scrapfly na Node.js, Deno lub Bun, z renderowaniem i zrzutami. Przydaje się przy integracji scrapowania w aplikacji JS.

Repozytorium
skills ↗
Licencja
MIT
Ostatnia zmiana repozytorium
11.11.2026

Ocena i bezpieczeństwo

100/ 100Klasa: dobry
Format25 / 25
Frontmatter z nazwą i opisem, poprawna nazwa, opis do 1024 znaków, nazwa zgodna z folderem.
Odkrywalność25 / 25
Opis mówi, kiedy użyć skilla, ma sensowną długość i jest w 3. osobie.
Treść35 / 35
Co najmniej 150 słów i do 500 linii, nagłówki, listy kroków, przykłady albo kod.
Higiena15 / 15
Bez zaślepek typu TODO, bez ścieżek Windows, z licencją.
Ryzykobrak sygnałów w skanie
Pliki w paczce
1
Skrypty
0
Komentarze HTML
0
Adresy URL w SKILL.md
7
Przestarzałość

Brak sygnałów. Repozytorium zmienione 11.11.2026, bez odwołań do wycofanych modeli i API.

Licencja

MIT, otwarta: można używać i zmieniać, z zachowaniem informacji o autorze.

Co robi i kiedy

Pobiera strony z TypeScriptu lub JavaScriptu przez SDK Scrapfly na Node.js, Deno lub Bun, z renderowaniem i zrzutami. Przydaje się przy integracji scrapowania w aplikacji JS.

Oryginalny opis (EN)

Web scraping from TypeScript or JavaScript with the Scrapfly SDK (`scrapfly-sdk`). Use when the user asks to scrape a URL, bypass anti-bot protection, render JavaScript, capture screenshots, or extract structured data from Node.js, Deno, or Bun.

Jak działa

  1. When to use
  2. Setup
  3. Basic scrape
  4. Anti-bot bypass, geo-targeting, JS rendering
  5. Screenshots and extraction
  6. Concurrent scraping
  7. Important notes
Sekcje z nagłówków SKILL.md, w oryginale · 108 linii, 398 słów
Podgląd SKILL.md
---
name: scrapfly-sdk-typescript
description: >-
  Web scraping from TypeScript or JavaScript with the Scrapfly SDK
  (`scrapfly-sdk`). Use when the user asks to scrape a URL, bypass anti-bot
  protection, render JavaScript, capture screenshots, or extract structured
  data from Node.js, Deno, or Bun.
---

# Scrapfly TypeScript SDK

Use the `scrapfly-sdk` package to scrape web pages from TypeScript/JavaScript
with proxy rotation, anti-bot bypass (Unblocker), JavaScript rendering, screenshots,
and AI extraction. Runs on Node.js, Deno, Bun, and edge runtimes
(Cloudflare Workers, AWS Lambda).

## When to use

- Scraping web pages (HTML, JSON, text, markdown) from a TS/JS codebase
- Bypassing anti-bot protections (Cloudflare, DataDome, PerimeterX, Kasada)
- Rendering JavaScript-heavy pages with a headless browser
- Capturing screenshots or extracting structured data
- Concurrent scraping of many URLs

## Setup

```bash
npm install scrapfly-sdk
# Deno / JSR: import from 'jsr:@scrapfly/scrapfly-sdk'
export SCRAPFLY_API_KEY="your-api-key"
```

Get your API key at [scrapfly.io](https://scrapfly.io).

## Basic scrape

```typescript
import { ScrapflyClient, ScrapeConfig } from 'scrapfly-sdk';

const client = new ScrapflyClient({ key: process.env.SCRAPFLY_API_KEY });

const result = await client.scrape(
    new ScrapeConfig({ url: 'https://web-scraping.dev/products' }),
);

console.log(result.result.content);
```

## Anti-bot bypass, geo-targeting, JS rendering

`ScrapeConfig` uses snake_case option keys, matching the API.

```typescript
const result = await client.scrape(
    new ScrapeConfig({
        url: 'https://web-scraping.dev/products',
        unblocker: true,                    // bypass anti-bot
        country: 'us',                      // proxy country (ISO 3166-1 alpha-2)
        proxy_pool: 'public_residential_pool',
        render_js: true,                    // headless browser rendering
        wait_for_selector: 'div.product',   // requires render_js
        rendering_wait: 5000,               // ms, requires render_js
        format: 'markdown',                 // raw | clean_html | json | markdown | text
    }),
);
```

## Screenshots and extraction

```typescript
import { ScreenshotConfig, ExtractionConfig } from 'scrapfly-sdk';

const shot = await client.screenshot(
    new ScreenshotConfig({ url: 'https://web-scraping.dev/products' }),
);
// shot.image is the binary image data

const html = (await client.scrape(
    new ScrapeConfig({ url: 'https://web-scraping.dev/reviews' }),
)).result.content;

const data = await client.extract(
    new ExtractionConfig({
        body: html,
        content_type: 'text/html',
        extraction_prompt: 'extract the reviews as JSON with fields: review, date, rating, author',
    }),
);
console.log(data.data);
```

## Concurrent scraping

```typescript
const configs = [
    new ScrapeConfig({ url: 'https://web-scraping.dev/products?page=1' }),
    new ScrapeConfig({ url: 'https://web-scraping.dev/products?page=2' }),
];

for await (const result of client.concurrentScrape(configs)) {
    console.log(result.result.content.slice(0, 100));
}
```

## Important notes

- `render_js: true` is required for `rendering_wait`, `wait_for_selector`, and screenshots
- `proxy_pool: 'public_residential_pool'` is recommended alongside `unblocker: true`
- `unblocker` is the current name for the anti-bot bypass; `asp` is the
  deprecated alias and keeps working forever. Only the name changed; the SDK
  sends `asp` on the wire either way. Pass one, not both; an explicitly supplied
  `asp` wins over `unblocker`
- Use `format: 'markdown'` for clean, LLM-friendly content
- The API key is read from the `key` constructor option (pass `process.env.SCRAPFLY_API_KEY`)
- Read the page body via `result.result.content`

Wersje

W bazie nie ma innych skilli o nazwie scrapfly-sdk-typescript.

Migawka bazy z 13.11.2026 · wersja paczki 365f4ecc91d3 (skrót SHA-256 całej paczki)

Pobrania w ostatnich 30 dniach: 0 · ranking

Zgłoś problem z tym skillem: szkodliwa treść, błędny opis albo prośba autora o usunięcie.

Podobne skille

  • 100scrapfly-sdk-go
    Pobiera strony z programu w Go przez SDK Scrapfly: renderowanie JavaScript, zrzuty ekranu i wyciąganie danych. Przydaje się przy integracji scrapowania w aplikacji Go.
  • 100scrapfly-sdk-rust
    Pobiera strony z programu w Rust przez SDK Scrapfly: renderowanie JavaScript, zrzuty ekranu i dane strukturalne. Przydaje się przy asynchronicznych programach w Rust.
  • 100scrapfly-webhooks
    Odbiera i weryfikuje webhooki Scrapfly dla asynchronicznych zadań scrape, ekstrakcji, zrzutów ekranu i crawlerów, sprawdza nagłówek X-Scrapfly-Webhook-Signature i kieruje po X-Scrapfly-Webhook-Resource-Type.
  • 90sentry-node-sdk
    Konfiguruje Sentry SDK dla Node.js, Bun i Deno po stronie serwera: monitoring błędów, trasowanie, logi, profilowanie i metryki.
  • 100runtime
    Pomaga wybrać i skonfigurować środowisko uruchomieniowe TypeScript i JavaScript: porównuje Node.js, Deno i Bun pod względem funkcji i architektury oraz doradza przy wyborze i migracji.
  • 95sentry-node-sdk
    Konfiguruje pełne SDK Sentry dla Node.js, Bun i Deno po stronie serwera: monitoring błędów, tracing, logi, profilowanie, metryki, crony i monitoring AI.

Uwagi i zgłoszenia

Wiadomość trafi do Bartosza Sokolińskiego. Adres e-mail jest potrzebny tylko do odpowiedzi. Szczegóły w polityce prywatności.